Web Scraper

Hvad er det bedste værktøj på marked i dag til webscraping. Jeg er åben for kommicielle eller open source systemer.

Lad høre :-)

Hej Michael,

Yep! det er lige det jeg søger. 

Ved du lidt om deres prisniveau, det er til et kunde projek.

Mvh

Peter

Hej Peter

Hvad er jeres behov. Har i meget data, skal i scripte crawleren for at det kan fungere eller ligger det hele offentligt tilgængeligt hvor man blot kan følge links uden for meget data submission og ajaxicificering.

Mvh

Niels

Hej NIels,

Jeg ved det faktisk ikke, det er til et kunde projekt hvor vi skal "scrape" 20 websites en gang i døgnet. I første omgang ville jeg blot forhører mig om hvad der findes af Scraper således vi undgår at skulle udvikle den del. Jeg er rimelig sikker på at Scraping delen er noget man mere eller mindre kan betale sig fra, på samme måde som at man jo ikke udvikler et massmail system, men i stedet køber Ubivox eller Mailchimp.

Så min opgave er kun at finde nogle mulige værktøjer, se hvad de lover og se lidt om hvad de koster.

Mvh

Peter

http://www.httrack.com/

Peter Skouhus:

Nu da vi er i gang  :-)

Hvordan ser det ud med lovligheden, må man Scrape andres hjemmesider?

Det afhænger hvad du vil scrape :P?

BruunMedia:

Det afhænger hvad du vil scrape :P?

OK, fair enough, lad os sige:

1. En webshop, må man det?

2. En portal, må man det?