Jeg sidder og arbejder på et affiliate site, som samler priserne, på forskellige varer fra flere webshops. Jeg ønsker selvfølgelig at disse priser konstant er rigtige, og vil derfor høre, om der er nogle som ved om det er lovligt at crawle 1000 varer på et website, hen over natten? Eller er det noget man skal have tilladelse til? En alm crawler, skulle så vidt jeg ved, ikke på virke google analytics, da det ikke eksekverer den kode som website ejeren lægger ind for at tælle besøgende. Michael |
Til sådanne ting bør du altid tage fat i ejeren af de pågældende webshops. Lav eventuelt en aftale om, at du kan få et automatisk csv-udtræk af priserne om natten eller lign. Skal du til at lave en crawler for hver eneste hjemmeside du vil sammenligne priser med, ja så bliver det langhåret. Det mest optimale er selvfølgelig hvis du/de har en API til håndtering af prissynkroniseringen, men det afhænger 100% af hvilket system webshoppen kører på.