Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Det er heller ikke sikkert at disse sites du nævner crawler websiderne for at få fat i informationerne. Jeg vil tro at butikkerne submitter deres datafeed som så vil blive crawlet eller analyseret. I en datafeed skal man typisk angive priser, product navn, landing page url, billede url, forhandler url, osv. Så det kommer lidt an på hvad du vil lave, hvis det er priserne du vil ha fat i, så er en web crawler ikke den bedste løsning du har.

Det er muligt at de 2 danske eksempler trækker data via et leverandør-API. Det skal jeg ik kloge mig på, men så lad mig spørge på en anden måde:
Hvordan trækker man data ud af ca 180 forskellige hjemmesider og placerer disse data i en database som jeg kan tilgå? Data skal ikke præsenteres på web.

Som de andre allerede har svaret, kræver hvert site en specifik crawling mønster, som robotten skal følge. Hvis du bare skal ha hele indhold smidt ind i en database, så er det jo nemt nok, men hvis robotten skal kunne parse de forskellige data ud og lægge dem pænt ind i database, så kræver det mega meget arbejde inklusive manual sortering og tilpasning som skal udføres manuelt af dig eller dine medarbejdere og til den tid alt det arbejde er udført, så er 50 sites ud af de 180 updateret med nye tags. Jeg siger ikke at det er umuligt, men du skal bare være forberedt på den enorme arbejdsbyrden. 

Jeg har lavet adskillige crawler før og der findes ikke en perfekt løsning, en anden ting er hvis en site er bygget op med javascript eller flash osv. så vil siden være mere eller mindre blank for en crawler.

Jørgen Linnet:

Jeg mener bare, snakker vi kr. 10.000 mere end vi snakker kr. 100.000? 

1 site er nok mere 10.000kr end 100.000. Jeg har haft et US firma til det en gang, det gik fint og lå i 4-5000kr.

Men giver Niels ret når du skal crawle flere! 

Jørgen Linnet:

Hvordan trækker man data ud af ca 180 forskellige hjemmesider og placerer disse data i en database som jeg kan tilgå? Data skal ikke præsenteres på web.

Det er svært at svare på uden flere informationer. Hvis de 180 sider har et datafeed eller en API så kan disse bruges. Hvis de alle har et datafeed er det nemt, selvom feeds kan være forskelligt opbygget, så der skal stadig bruges en masse timer på at tilpasse importen til hvert enkelt feed.

Hvis du skal have en til at programmere op imod 180 forskellige API´er kunne jeg ikke forestille mig 100.000 var nok til projektet.

Det bliver endnu dyrere hvis siderne hverken har et datafeed eller en API. Et problem er også at ændrer nogen af siderne i deres side løbende, ja så skal du betale en udvikler for at tilpasse din crawler. Det er sjældent man ændrer en API eller et XML-output, så der vil nok være færre løbende udgifter til sådan en løsning.

Du skal i øvrigt ikke kun spørge til udviklingsomkostningerne, det er også vigtigt du husker at der nok kommer løbende udgifter til at vedligeholde import fra 180 forskellige datakilder.

Med mindre API´er eller XML´er er ens kan jeg ikke se hvordan man overhovedet kan gøre det for under 100.000, hvis vi taler 180 forskellige datakilder.

Det er som nævnt meget afhængigt hvilke typer data du skal bruge, og hvis du løbende skal "lytte på" sider er der også andet end blot at crawle. 

Det er ret udbredt at større webshops står og lytter på konkurrenternes priser, så de løbende kan tilpasse sig indenfor nogle algoritmer. Jeg vil som Niels siger, starte simpelt. Finde ud af hvad er basic information få lavet et script til dette, når du er fortrolig med dette så sørg for at have en udvikler der har hjernen til at kunne tænke lidt kreativt og god til matematik. Så er du godt på vej.