Hov. Du er ikke logget ind.
DU SKAL VÆRE LOGGET IND, FOR AT INTERAGERE PÅ DENNE SIDE

PHP? Webcrawler?

Side 1 ud af 2 (16 indlæg)
Tilmeldt 25. Mar 08
Indlæg ialt: 76
Skrevet kl. 15:32
Hvor mange stjerner giver du? :

Hej Aminoer.

Først og fremmest undskyld min uvidenhed i dette indlæg, men jeg står og skal bruge nogle råd, da jeg ikke er hjemme i dette emne :-)

Anyway, jeg er i gang med at lave en simpel hjemmeside ved hjælp af CMS, og siden skal have en service hvor jeg skal vise de billigste priser på nogle produkter som kan købes via nettet. Så ja, det er prissammenligningsside. Der vil være ca. 30 hjemmesider hvor jeg skal "suge" oplysningerne fra på daglig basis, og disse oplysninger skal så kastes op på min hjemmeside. 

Kan nogen hjælpe mig med hvad jeg skal kigge efter og hvordan jeg kommer i gang?

Håber i forstår hvad jeg mener :-)

Fra Helsingborg
Tilmeldt 3. Apr 05
Indlæg ialt: 6568
Fra  TextReactor Skrevet kl. 15:39
Hvor mange stjerner giver du? :

Først så har du et kæmpe arbejde foran dig. Grunden er at du skal se hvordan de 30 hjemmesider er bygget op og så skal du vide hvor på siden produkterne og priserne er. Derefter skal du suge de oplysninger ud.

Er der bare én af siderne der ændre en opsætning, så skal du starte forfra på den side.

Ellers så er måden den at du henter kildekoden (html) på siden, parser denne så du har oplysninger om varerne og dem gemmer du så i din egen database.

Du skal så have det til at køre en gang i døgnet eller hvor tit du ønsker det. Derudover skal du også lade din crawler være gemt og den skal udgive sig for en eller anden browser. Dog vil jeg så anbefale at du justerer tidspunktet samt hvilken browser den skal udgive sig for så der ikke er noget mønster i det.

 

Jeg har programmeret i over 27 år. Jeg har kodet i C, C++, Java, Delphi, Perl, JavaScript, C#, F#, VB.NET, ASP, Myresnak :D, Comal80 osv....

Tilmeldt 10. Sep 08
Indlæg ialt: 113
Skrevet kl. 15:50
Hvor mange stjerner giver du? :

Hej

Du kan sende en PM til mig med din mail, jeg har en del uddybende spørgsmål, og kan sikkert hjælpe dig med det.

Tilmeldt 25. Mar 08
Indlæg ialt: 76
Skrevet kl. 15:51
Hvor mange stjerner giver du? :

Tak for info. Jeg har lidt at gå i gang med kan jeg forstå :-)

Fra bagsværd
Tilmeldt 28. Mar 06
Indlæg ialt: 165
Skrevet kl. 19:42
Hvor mange stjerner giver du? :

Det ér blevet langt lettere at lave den slags end det var for nogle år siden, du skal bruge 3 ting:

1) snoopy
2) php simple dom parser
3) database 

snoppy gør det nemt for sig at "besøge" andre hjemmesider og hente indhold, simple dom parser gør det nemt for dig at hente de data ud du har brug for, og ja, databasen skulle gerne forklare sig selv :)

enjoy - det er sjovt at skrive den slags løsninger.

Tilmeldt 20. Apr 07
Indlæg ialt: 16014
30% af profil udfyldt
Skrevet kl. 19:54
Hvor mange stjerner giver du? :

Du kan få dit script til at køre på bestemte tidspunkter vha. et cronjob. Sørg for at din host tilbyder dette.

Tilmeldt 27. Apr 07
Indlæg ialt: 6988
Fra  MobilTjek Skrevet kl. 20:06
Hvor mange stjerner giver du? :

Flere og flere webshops med tilknyttet affiliateprogram tilbyder datafeed. Problemet med nogle af de shops der ikke gør, er at prisen nogle gange er skrevet i billeder. Det kan selvfølgelig også løses, men ændres metoden/billedet, så skal der kodes igen.

Sammenlign mobilpriser med eller uden abonnement

Fra Skørping
Tilmeldt 29. Sep 07
Indlæg ialt: 668
Fra  X-Cite ApS Skrevet kl. 11:38
Hvor mange stjerner giver du? :

Niels:

Derudover skal du også lade din crawler være gemt og den skal udgive sig for en eller anden browser. Dog vil jeg så anbefale at du justerer tidspunktet samt hvilken browser den skal udgive sig for så der ikke er noget mønster i det.

Tjae, det behøver vel ikke nødvendigvis at være skjult. Det kan jo også være sites der bare ikke har opsat productfeed, men som alligevel hellere end gerne vil være med på prissammenligningssitet Wink

Fra Helsingborg
Tilmeldt 3. Apr 05
Indlæg ialt: 6568
Fra  TextReactor Skrevet kl. 11:43
Hvor mange stjerner giver du? :

Erik Pilgaard Hejlskov:
Tjae, det behøver vel ikke nødvendigvis at være skjult. Det kan jo også være sites der bare ikke har opsat productfeed, men som alligevel hellere end gerne vil være med på prissammenligningssitet Wink

Det var mere for at skjule crawleren hvis nu man ikke vil have at site-ejeren skal kunne se at den bliver crawlet. Vi ser jo eksemplet med egendomsmælgerne hvor deres sider bliver crawlet. Problemet ligger også i jobsiderne hvor Arbejdsformidlingen crawler rundt.

Jeg har programmeret i over 27 år. Jeg har kodet i C, C++, Java, Delphi, Perl, JavaScript, C#, F#, VB.NET, ASP, Myresnak :D, Comal80 osv....

Fra Skørping
Tilmeldt 29. Sep 07
Indlæg ialt: 668
Fra  X-Cite ApS Skrevet kl. 11:51
Hvor mange stjerner giver du? :

Niels:

 

Det var mere for at skjule crawleren hvis nu man ikke vil have at site-ejeren skal kunne se at den bliver crawlet. Vi ser jo eksemplet med egendomsmælgerne hvor deres sider bliver crawlet. Problemet ligger også i jobsiderne hvor Arbejdsformidlingen crawler rundt.

Det forstod jeg godt. Jeg ville bare gøre opmærksom på at en crawler i mange tilfælde faktisk godt kan være ønsket :-)

Jeg ved ikke om du tænker på Boliga, når du nævner egendomsmælgerne? Men i deres tilfælde fik de vist nok lovmæssigt vedhold i, at de godt måtte crawle egendomsmælgernes websites, selvom de først blev lukket ude. For dem var det altså ikke en teknisk løsning med at skjule sig, men et lovmæssigt krav om at de SKULLE have adgang.

Side 1 ud af 2 (16 indlæg)