PHP? Webcrawler?

Erik Pilgaard Hejlskov:

Jeg ved ikke om du tænker på Boliga

Yep... kunne ikke lige huske navnet og sidder i javascript til op over begge ører så jeg kunne ikke lige søge efter det.

Erik Pilgaard Hejlskov:

Men i deres tilfælde fik de vist nok lovmæssigt vedhold i, at de godt måtte crawle egendomsmælgernes websites

Ja, men jeg ved godt hvor jeg vil lægge timerne hvis jeg skulle vælge mellem en advokat eller programmør for at kunne crawle andres sider :)

Howdy Brodersalsa,

Hvis du vil bruge PHP til formålet, bliver du nok træt af manglende threading. Curl kan opveje lidt af det med curl_multi - se evt. http://dk.php.net/manual/en/function.curl-multi-init.php

Kristian_Nissen:

Det ér blevet langt lettere at lave den slags end det var for nogle år siden, du skal bruge 3 ting:

1) snoopy
2) php simple dom parser
3) database 

snoppy gør det nemt for sig at "besøge" andre hjemmesider og hente indhold, simple dom parser gør det nemt for dig at hente de data ud du har brug for, og ja, databasen skulle gerne forklare sig selv :)

enjoy - det er sjovt at skrive den slags løsninger.

Jeg prøvede lige hurtigt at kigge lidt på snoopy. Jeg kan kun hente tekst fra http og ikke fra https. Ved du hvad man gør i den situation?

Hej,

Vi vil da meget gerne ligge billet ind, hvis du er interesseret i et samarbejde så send en mail til mig med en lidt mere detaljeret beskrivelse, vi har udviklet vores egen software crawler og som vi gerne installere på din site.

Ser frem til at høre nærmere fra dig.

Med venlig hilsen

Lars

Lars@indosoft.dk
www.IndoSoft.dk