Hjælp til salg (Ikke internet)

Svar: PHP? Webcrawler?

indosoft — Thu, 17 Jun 2010 22:36:57 GMT

Hej,

Vi vil da meget gerne ligge billet ind, hvis du er interesseret i et samarbejde så send en mail til mig med en lidt mere detaljeret beskrivelse, vi har udviklet vores egen software crawler og som vi gerne installere på din site.

Ser frem til at høre nærmere fra dig.

Med venlig hilsen

Lars

Lars@indosoft.dk
www.IndoSoft.dk

Svar: PHP? Webcrawler?

Brodersalsa — Thu, 17 Jun 2010 16:58:10 GMT

WOW først og fremmest mange tak for alle svarene, men nu er jeg seriøst forvirret og har absolut ingen idé om hvor jeg skal begynde haha!

Hvis jeg nu skal have én af jer til at hjælpe mig at lave mig en robot - wha koster ´n så, så´n cirkus?

Men det kan I måske ikke lige svare på stående fod da det afhænger af mange forskellige faktorer?

Anyway en cirka pris ville jeg tage imod med kyshånd, så jeg har en idé om det er 5.000, 10.000 eller 25.000 det koster.

Ser frem til at høre fra jer.

Svar: PHP? Webcrawler?

Erik Pilgaard Hejlskov — Thu, 17 Jun 2010 13:27:44 GMT

Kristian_Nissen:

Det ér blevet langt lettere at lave den slags end det var for nogle år siden, du skal bruge 3 ting:

1) snoopy
2) php simple dom parser
3) database

snoppy gør det nemt for sig at "besøge" andre hjemmesider og hente indhold, simple dom parser gør det nemt for dig at hente de data ud du har brug for, og ja, databasen skulle gerne forklare sig selv :)

enjoy - det er sjovt at skrive den slags løsninger.

Jeg prøvede lige hurtigt at kigge lidt på snoopy. Jeg kan kun hente tekst fra http og ikke fra https. Ved du hvad man gør i den situation?

Svar: PHP? Webcrawler?

Jakob Søndergård — Thu, 17 Jun 2010 09:59:03 GMT

Howdy Brodersalsa,

Hvis du vil bruge PHP til formålet, bliver du nok træt af manglende threading. Curl kan opveje lidt af det med curl_multi - se evt. http://dk.php.net/manual/en/function.curl-multi-init.php

Svar: PHP? Webcrawler?

Erik Pilgaard Hejlskov — Thu, 17 Jun 2010 09:58:53 GMT

Niels:

Ja, men jeg ved godt hvor jeg vil lægge timerne hvis jeg skulle vælge mellem en advokat eller programmør for at kunne crawle andres sider :)

Det kan der være noget om ;-)

Svar: PHP? Webcrawler?

Niels Henriksen — Thu, 17 Jun 2010 09:54:37 GMT

Erik Pilgaard Hejlskov:
Jeg ved ikke om du tænker på Boliga

Yep... kunne ikke lige huske navnet og sidder i javascript til op over begge ører så jeg kunne ikke lige søge efter det.

Erik Pilgaard Hejlskov:
Men i deres tilfælde fik de vist nok lovmæssigt vedhold i, at de godt måtte crawle egendomsmælgernes websites

Ja, men jeg ved godt hvor jeg vil lægge timerne hvis jeg skulle vælge mellem en advokat eller programmør for at kunne crawle andres sider :)

Svar: PHP? Webcrawler?

Erik Pilgaard Hejlskov — Thu, 17 Jun 2010 09:51:18 GMT

Niels:

Det var mere for at skjule crawleren hvis nu man ikke vil have at site-ejeren skal kunne se at den bliver crawlet. Vi ser jo eksemplet med egendomsmælgerne hvor deres sider bliver crawlet. Problemet ligger også i jobsiderne hvor Arbejdsformidlingen crawler rundt.

Det forstod jeg godt. Jeg ville bare gøre opmærksom på at en crawler i mange tilfælde faktisk godt kan være ønsket :-)

Jeg ved ikke om du tænker på Boliga, når du nævner egendomsmælgerne? Men i deres tilfælde fik de vist nok lovmæssigt vedhold i, at de godt måtte crawle egendomsmælgernes websites, selvom de først blev lukket ude. For dem var det altså ikke en teknisk løsning med at skjule sig, men et lovmæssigt krav om at de SKULLE have adgang.

Svar: PHP? Webcrawler?

Niels Henriksen — Thu, 17 Jun 2010 09:43:35 GMT

Erik Pilgaard Hejlskov:
Tjae, det behøver vel ikke nødvendigvis at være skjult. Det kan jo også være sites der bare ikke har opsat productfeed, men som alligevel hellere end gerne vil være med på prissammenligningssitet

Det var mere for at skjule crawleren hvis nu man ikke vil have at site-ejeren skal kunne se at den bliver crawlet. Vi ser jo eksemplet med egendomsmælgerne hvor deres sider bliver crawlet. Problemet ligger også i jobsiderne hvor Arbejdsformidlingen crawler rundt.

Svar: PHP? Webcrawler?

Erik Pilgaard Hejlskov — Thu, 17 Jun 2010 09:38:25 GMT

Niels:

Derudover skal du også lade din crawler være gemt og den skal udgive sig for en eller anden browser. Dog vil jeg så anbefale at du justerer tidspunktet samt hvilken browser den skal udgive sig for så der ikke er noget mønster i det.

Tjae, det behøver vel ikke nødvendigvis at være skjult. Det kan jo også være sites der bare ikke har opsat productfeed, men som alligevel hellere end gerne vil være med på prissammenligningssitet

Svar: PHP? Webcrawler?

sponsorplay — Wed, 16 Jun 2010 18:06:16 GMT

Flere og flere webshops med tilknyttet affiliateprogram tilbyder datafeed. Problemet med nogle af de shops der ikke gør, er at prisen nogle gange er skrevet i billeder. Det kan selvfølgelig også løses, men ændres metoden/billedet, så skal der kodes igen.

Svar: PHP? Webcrawler?

Anonymous — Wed, 16 Jun 2010 17:54:06 GMT

Du kan få dit script til at køre på bestemte tidspunkter vha. et cronjob. Sørg for at din host tilbyder dette.

Svar: PHP? Webcrawler?

Kristian_Nissen — Wed, 16 Jun 2010 17:42:32 GMT

Det ér blevet langt lettere at lave den slags end det var for nogle år siden, du skal bruge 3 ting:

1) snoopy
2) php simple dom parser
3) database

snoppy gør det nemt for sig at "besøge" andre hjemmesider og hente indhold, simple dom parser gør det nemt for dig at hente de data ud du har brug for, og ja, databasen skulle gerne forklare sig selv :)

enjoy - det er sjovt at skrive den slags løsninger.

Svar: PHP? Webcrawler?

Brodersalsa — Mon, 14 Jun 2010 13:51:18 GMT

Tak for info. Jeg har lidt at gå i gang med kan jeg forstå :-)

Svar: PHP? Webcrawler?

softwaremanden — Sun, 13 Jun 2010 13:50:04 GMT

Hej

Du kan sende en PM til mig med din mail, jeg har en del uddybende spørgsmål, og kan sikkert hjælpe dig med det.

Svar: PHP? Webcrawler?

Niels Henriksen — Sun, 13 Jun 2010 13:39:16 GMT

Først så har du et kæmpe arbejde foran dig. Grunden er at du skal se hvordan de 30 hjemmesider er bygget op og så skal du vide hvor på siden produkterne og priserne er. Derefter skal du suge de oplysninger ud.

Er der bare én af siderne der ændre en opsætning, så skal du starte forfra på den side.

Ellers så er måden den at du henter kildekoden (html) på siden, parser denne så du har oplysninger om varerne og dem gemmer du så i din egen database.

Du skal så have det til at køre en gang i døgnet eller hvor tit du ønsker det. Derudover skal du også lade din crawler være gemt og den skal udgive sig for en eller anden browser. Dog vil jeg så anbefale at du justerer tidspunktet samt hvilken browser den skal udgive sig for så der ikke er noget mønster i det.