|
Hejsa Jeg er i gang med et projekt (stadig den indledende research fase) hvor jeg har behov for aktivt at scrape indhold fra 6-10 danske websites til en form for søgemaskine men det er nu underordnet mit spørgsmål. Og så alligevel ikke, for jeg har behov for at der crawles aktivt og gerne en gang i timer på hvert website, måske oftere så det er egentlig en "scraper bot" jeg skal bruge... Spørgsmålet er, hvilken software virker - har I erfaring med nogle af de mange produkter på markedet? |
Fremfor at hente data fra 'hjemmesiden', er det meget nemmere at hente data databasen eller fra specifik web-service, som det pågældende web-site tilbyder. Så jeg forstår ikke, hvorfor du skal hente data på den måde.
Har du kontaktet web-sitet indehaveren ? Ellers får sikkert du problemer, når de opdager at nogen tapper data fra dem...
Bliv gratis medlem