Hjælp til salg (Ikke internet)

Svar: Web scrapper, web crawler eller kode fra bunden af??

Niels Boldt — Fri, 26 Apr 2013 18:24:21 GMT

Vi udbyder det at crawle/scrape som en service så har selvfølgelig en del erfaring med det.

Du kan fint køre det på en pc, hvis det er begrænset med data som skal hentes. Hvis det er noget som skal køre stabilt og hente processere store mængder data bør man nok overveje det dedikeret setup.

Du er velkommen til at sende en PM hvis du har flere spørgsmål

Mvh

Niels

Svar: Web scrapper, web crawler eller kode fra bunden af??

E T — Fri, 26 Apr 2013 10:59:05 GMT

Jeg vil lige bumpe tråden en sidste gang

Har læst andre tråde omkring denne emne her på Amino men uden at være klogere på det

Andre der har arbejdet med det her eller som bruger noget software, vil jeg gerne høre fra

På forhånd tak og god weeekend

Svar: Web scrapper, web crawler eller kode fra bunden af??

E T — Sun, 21 Apr 2013 13:49:48 GMT

Hej Peter

Peter Lauge:
Gratis program at komme i gang med: http://www.screamingfrog.co.uk/seo-spider/

Har kigget på det sådan bare hurtigt og det kunne evt være noget

Men skal lige kigge på det lidt mere grundigt

Svar: Web scrapper, web crawler eller kode fra bunden af??

E T — Sun, 21 Apr 2013 13:48:10 GMT

Ja det er rigtigt men også sådan at den crawler andre sider, kun danske, ud fra de ord man indtaster hvis det kan lade sig gøre

Hvor mange det drejer sig om er uvist pt men kunne forestille mig at det tal er høj, ret høj.

Formålet som jeg nævnte i starten af tråden er som et hyggeprojekt for at se hvordan det virker og hvilke info jeg finder frem til

Ellers sagt på en måde at bruge det til at undersøge nogen ting som senere evt. skal bruges til et større kommercielt projekt

Svar: Web scrapper, web crawler eller kode fra bunden af??

Peter Lauge — Sun, 21 Apr 2013 13:35:38 GMT

Gratis program at komme i gang med: http://www.screamingfrog.co.uk/seo-spider/

Svar: Web scrapper, web crawler eller kode fra bunden af??

Martin Poulsen — Sun, 21 Apr 2013 13:32:43 GMT

Hej igen

Du vil selv angive de sites du ønsker at crawle - men hvor mange handler det om og hvad er formålet?

Svar: Web scrapper, web crawler eller kode fra bunden af??

E T — Sun, 21 Apr 2013 13:18:12 GMT

Hej Lars og Martin

Tak for jeres svar

Ud fra det software jeg fandt så så det nemt ud at installere og bare komme i gang og kunne godt forestille at de info man crwalede vil hurtig fylde på ens harddisk. Og så er det nok ude i server halløj man skal ud i hvis man skal crawle rimelig meget og tit. Men igen det afhænger af først at finde det rigtige software, hvis det kan lade sig gøre, og derefter finde ud af om det kan køres fra pc eller det skal køre fra en server evt.

Jeg ønsker at den skulle kunne følgende ting og så må i gerne komme med forslag til software eller evt. Hvor meget det vil koste at få lavet fra bunden af. Kravene er følgende:

Registrere domænenavnt første gang den besøger siden samt også efterfølgende tjekke det, så den ikke bliver ved med at crawle sidder der ikke længere findes eller er lukkede.

Det skal være muligt at jeg selv vælger hvilke ting den skal crawle på hver enkelt side sådan at den ikke crwaler alt muligt og dermed fylder hurtigt op. Ved godt at det bliver til meget manuelt arbejde men det vil gøre ting nemmere på længere sigt.

Selv bestemme hvor tit de skal crawle sådan at de info jeg skal bruge skal være up to date.

Det skal også være muligt at udtrække tingene til feks. excel eller word og derefter skabe en overblik eller lave statistik. Men også en database hvor man kan sortere i tingene efter behov, for at derefter skabe sig en oversigt. Håber det er forståeligt

Det vil være både webshops samt almindelige sider den skal kunne crawle.

Svar: Web scrapper, web crawler eller kode fra bunden af??

Martin Poulsen — Sat, 20 Apr 2013 14:37:38 GMT

Hvad er formålet med crawlingen? Ønsker du blot at hente HTML'en ned i sin helhed eller skal du udtrække særlig indhold fra HTML'en?

En simpel løsning er wget, som der også findes en windows version. Med wget i "recursive mode" følger den links til samme domæne og kan således scraper et helt site.

Hvis du har behov for mere avancerede løsninger afhænger det af hvilken platform du arbejder på. Til Ruby kan du fx bruge Mechanize og Nokogiri til at hente og parse websites.

Svar: Web scrapper, web crawler eller kode fra bunden af??

Lars Rasmussen — Sat, 20 Apr 2013 12:48:53 GMT

En scraper, crawler, spider osv. er samme navn for én ting: At hente data på nettet fra fx en hjemmeside, webservice eller andet :-)

Jeg har kodet en del crawlere til forskellige formål, og ved at der findes masser af software der ude som kan klare alle mulige former for opgaver.

De crawlere jeg har kodet har som regel været i forbindelse med web-formål, dvs noget PHP/C# kode der kører på en webserver og henter data.

Der er ikke noget i vejen for at finde et program der kan køre på en normal computer som et program i Windows, men du skal nok være beredt på at det ikke lige er noget man sætter sig ned og downloader, og sætter op på en time.

Svar: Web scrapper, web crawler eller kode fra bunden af??

E T — Sat, 20 Apr 2013 12:41:36 GMT

Jeg vil lige bumpe tråden, hvis det er i orden

Jeg har måske formuleret mig forkert og det beklager jeg

Håber nogen kan komme med noget input

Ellers spørg

God weekend

Web scrapper, web crawler eller kode fra bunden af??

E T — Fri, 19 Apr 2013 14:41:39 GMT

Hej Aminoer

Jeg har kigget på disse 2 teknikker og hvad der kan fås af som software, men er forvirret da de har forskellige funktioner og formål. Det skal siges med det samme at anvendelses formålet er til privat hygge projekt, og ikke kommercielt. Ikke lige pt. ihvertfald J

Så mit spørgsmål er om jeg skal forsætte med at lede efter og finde noget software ud fra mine behov eller skal det kodes fra bunden af?

1.Nogen der har erfaring med webscrapper/webcrawler software?

2.Det man scrapper/crawler kan det klares på almindelig pc og gemmes der på?

3.Er der nogen jeg har evt. Overset?

På forhånd tak og god weekend

PS: Ved ikke om jeg har placeret tråden det rigtige sted :-)