Teknik, hosting & e-handelsløsninger

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Jens Lund — Tue, 11 Dec 2012 08:24:47 GMT

Det er som nævnt meget afhængigt hvilke typer data du skal bruge, og hvis du løbende skal "lytte på" sider er der også andet end blot at crawle.

Det er ret udbredt at større webshops står og lytter på konkurrenternes priser, så de løbende kan tilpasse sig indenfor nogle algoritmer. Jeg vil som Niels siger, starte simpelt. Finde ud af hvad er basic information få lavet et script til dette, når du er fortrolig med dette så sørg for at have en udvikler der har hjernen til at kunne tænke lidt kreativt og god til matematik. Så er du godt på vej.

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

sal — Sun, 09 Dec 2012 06:58:48 GMT

Hej

jeg vil regne med ca. 700,- pr robot

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Thomas Frost — Sun, 09 Dec 2012 04:22:32 GMT

Jørgen Linnet:
Hvordan trækker man data ud af ca 180 forskellige hjemmesider og placerer disse data i en database som jeg kan tilgå? Data skal ikke præsenteres på web.

Det er svært at svare på uden flere informationer. Hvis de 180 sider har et datafeed eller en API så kan disse bruges. Hvis de alle har et datafeed er det nemt, selvom feeds kan være forskelligt opbygget, så der skal stadig bruges en masse timer på at tilpasse importen til hvert enkelt feed.

Hvis du skal have en til at programmere op imod 180 forskellige API´er kunne jeg ikke forestille mig 100.000 var nok til projektet.

Det bliver endnu dyrere hvis siderne hverken har et datafeed eller en API. Et problem er også at ændrer nogen af siderne i deres side løbende, ja så skal du betale en udvikler for at tilpasse din crawler. Det er sjældent man ændrer en API eller et XML-output, så der vil nok være færre løbende udgifter til sådan en løsning.

Du skal i øvrigt ikke kun spørge til udviklingsomkostningerne, det er også vigtigt du husker at der nok kommer løbende udgifter til at vedligeholde import fra 180 forskellige datakilder.

Med mindre API´er eller XML´er er ens kan jeg ikke se hvordan man overhovedet kan gøre det for under 100.000, hvis vi taler 180 forskellige datakilder.

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

togalounge — Sat, 08 Dec 2012 16:22:53 GMT

Jørgen Linnet:
Jeg mener bare, snakker vi kr. 10.000 mere end vi snakker kr. 100.000?

1 site er nok mere 10.000kr end 100.000. Jeg har haft et US firma til det en gang, det gik fint og lå i 4-5000kr.

Men giver Niels ret når du skal crawle flere!

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Jesper Nerløe — Sat, 08 Dec 2012 15:58:15 GMT

Jørgen Linnet:
Hvordan trækker man data ud af ca 180 forskellige hjemmesider og placerer disse data i en database som jeg kan tilgå? Data skal ikke præsenteres på web.

I korte træk:

Hvis du ikke kan udtrække data via en API, er du nødt til at benytte en crawler, som du kan konfigurere til at lede efter specifikke HTML-mønstre (f.eks. <div id="cost">[dette indhold skal udtrækkes fra siden]</div> og <div id="amount">[et helt andet mønster på en anden side]</div>).

Dernæst skal du igang med lidt af et detektivarbejde, da du er nødt til at gennemgå samtlige hjemmesider - som du vil udtrække data fra - for at finde hvert enkelt mønster, så du kan lægge mønsteret i en database sammen med URL'en, som crawleren skal finde mønsteret via.

Der er en række andre detaljer, du også skal tage højde for, men det bliver ret hurtigt en teknisk og tidskrævende omgang, hvis jeg skal forklare det her.

Fremgangsmetoden er omstændig, men hvis data er vigtige for dig, kan det være besværet værd. Alternativt kan du søge efter virksomheder, som tilbyder "data mining".

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Mikey — Sat, 08 Dec 2012 15:57:18 GMT

Som de andre allerede har svaret, kræver hvert site en specifik crawling mønster, som robotten skal følge. Hvis du bare skal ha hele indhold smidt ind i en database, så er det jo nemt nok, men hvis robotten skal kunne parse de forskellige data ud og lægge dem pænt ind i database, så kræver det mega meget arbejde inklusive manual sortering og tilpasning som skal udføres manuelt af dig eller dine medarbejdere og til den tid alt det arbejde er udført, så er 50 sites ud af de 180 updateret med nye tags. Jeg siger ikke at det er umuligt, men du skal bare være forberedt på den enorme arbejdsbyrden.

Jeg har lavet adskillige crawler før og der findes ikke en perfekt løsning, en anden ting er hvis en site er bygget op med javascript eller flash osv. så vil siden være mere eller mindre blank for en crawler.

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

usb — Sat, 08 Dec 2012 15:33:06 GMT

Det er muligt at de 2 danske eksempler trækker data via et leverandør-API. Det skal jeg ik kloge mig på, men så lad mig spørge på en anden måde:
Hvordan trækker man data ud af ca 180 forskellige hjemmesider og placerer disse data i en database som jeg kan tilgå? Data skal ikke præsenteres på web.

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Àsgeir Gunnarsson — Sat, 08 Dec 2012 15:22:33 GMT

Nu står diverse sider, som officielle partnere af lejebolig. Mon så ikke de har adgang til deres data igennem et API.

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Mikey — Sat, 08 Dec 2012 15:15:21 GMT

Det er heller ikke sikkert at disse sites du nævner crawler websiderne for at få fat i informationerne. Jeg vil tro at butikkerne submitter deres datafeed som så vil blive crawlet eller analyseret. I en datafeed skal man typisk angive priser, product navn, landing page url, billede url, forhandler url, osv. Så det kommer lidt an på hvad du vil lave, hvis det er priserne du vil ha fat i, så er en web crawler ikke den bedste løsning du har.

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Niels Henriksen — Sat, 08 Dec 2012 15:10:43 GMT

Jørgen Linnet:

Okay.
Jeg mener bare, snakker vi kr. 10.000 mere end vi snakker kr. 100.000?

Ja deromkring. Det er bedre med et højere bud og så blive positivt overrasket over at det blev billigere end at du bliver spist af med en lav pris der viser sig at blive dyrer.

Skulle jeg skrive sådan en crawler så vil jeg ikke lave den til bare ét site men skrive et helt system hvor du kan tilføje site og prøve at få den til at lære dem at kende. Så rammer vi nok omkring 50-60k

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

usb — Sat, 08 Dec 2012 15:09:32 GMT

Kim Jørgensen:

Nu skal du jo også lige huske på det juridiske aspekt i denne sammenhæng. Hvis du vil hente data fra andre hjemmesider og udgive på din egen, så skal du jo have tilladelse til dette fra de enkelte ejere.

Ja ja, men jeg skal ikke udgive data på mit eget site - i hvert fald ikke i første omgang og desuden er det ikke i DK. Jeg skal bare have data smidt ind i en database...

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Jesper Nerløe — Sat, 08 Dec 2012 15:08:00 GMT

Casper Fischer:

... Så det vil kræve et script per hjemmeside du ønsker at crawle.

Nej, ikke nødvendigvis. Det er relativt simpelt at sætte en enkelt crawler/et enkelt script op til at lede efter indhold i predefinerede HTML-elementer - udfordringen består i at indsamle og vedligeholde en database med de HTML-mønstre, som crawleren skal lede efter, for at finde indholdet.

Casper Fischer:

Med hensyn til prisen, kan det godt blive en halvdyr fornøjelse hvis det skal sættes ordenligt op med forskellige sider der skal crawles, samt disse data skal gemmes og løbende opdateres.

Her er jeg til gengæld enig i, at opsætning og vedligeholdelse kan være (igen, relativt) dyrt eller tidskrævende, hvis man selv gør det.

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

usb — Sat, 08 Dec 2012 15:06:42 GMT

Okay.
Jeg mener bare, snakker vi kr. 10.000 mere end vi snakker kr. 100.000?

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Kim Jørgensen — Sat, 08 Dec 2012 15:05:53 GMT

Nu skal du jo også lige huske på det juridiske aspekt i denne sammenhæng. Hvis du vil hente data fra andre hjemmesider og udgive på din egen, så skal du jo have tilladelse til dette fra de enkelte ejere.

Svar: Hvad er betingelserne for at man kan crawle et site og hvad koster en crawler?

Niels Henriksen — Sat, 08 Dec 2012 15:04:20 GMT

Det man gør er at man laver en basiscrawler hvor der er nogle ting man SKAL have ud. Så kigger man på kilden og fortælller crawleren hvad den skal kigge efter på det pågældende site.

Jeg kan ikke give en ca. pris fordi mit skud er lige så nøjagtigt som andres.