Hov. Du er ikke logget ind.
DU SKAL VÆRE LOGGET IND, FOR AT INTERAGERE PÅ DENNE SIDE
Log Ind

Web scrapper, web crawler eller kode fra bunden af??

Side 1 ud af 2 (11 indlæg)
Fra Randers
Tilmeldt 3. Sep 08
Indlæg ialt: 367
Skrevet kl. 16:41
Hvor mange stjerner giver du? :

Hej Aminoer

Jeg har kigget på disse 2 teknikker og hvad der kan fås af som software, men er forvirret da de har forskellige funktioner og formål. Det skal siges med det samme at anvendelses formålet er til privat hygge projekt, og ikke kommercielt.  Ikke lige pt. ihvertfald J

Så mit spørgsmål er om jeg skal forsætte med at lede efter og finde noget software ud fra mine behov eller skal det kodes fra bunden af?

1.Nogen der har erfaring med webscrapper/webcrawler software?

2.Det man scrapper/crawler kan det klares på almindelig pc og gemmes der på?

3.Er der nogen jeg har evt. Overset?

På forhånd tak og god weekend

PS: Ved ikke om jeg har placeret tråden det rigtige sted :-)

 
Fra Randers
Tilmeldt 3. Sep 08
Indlæg ialt: 367
Skrevet kl. 14:41
Hvor mange stjerner giver du? :

Jeg vil lige bumpe tråden, hvis det er i orden

Jeg har måske formuleret mig forkert og det beklager jeg

Håber nogen kan komme med noget input

Ellers spørg

God weekend
Fra Aarhus C
Tilmeldt 9. Sep 10
Indlæg ialt: 684
Fra  1337 ApS Skrevet kl. 14:48
Hvor mange stjerner giver du? :

En scraper, crawler, spider osv. er samme navn for én ting: At hente data på nettet fra fx en hjemmeside, webservice eller andet :-)

Jeg har kodet en del crawlere til forskellige formål, og ved at der findes masser af software der ude som kan klare alle mulige former for opgaver.

De crawlere jeg har kodet har som regel været i forbindelse med web-formål, dvs noget PHP/C# kode der kører på en webserver og henter data.

Der er ikke noget i vejen for at finde et program der kan køre på en normal computer som et program i Windows, men du skal nok være beredt på at det ikke lige er noget man sætter sig ned og downloader, og sætter op på en time.
Fra København
Tilmeldt 21. Sep 05
Indlæg ialt: 443
Skrevet kl. 16:37
Hvor mange stjerner giver du? :

Hvad er formålet med crawlingen? Ønsker du blot at hente HTML'en ned i sin helhed eller skal du udtrække særlig indhold fra HTML'en?

En simpel løsning er wget, som der også findes en windows version. Med wget i "recursive mode" følger den links til samme domæne og kan således scraper et helt site.

Hvis du har behov for mere avancerede løsninger afhænger det af hvilken platform du arbejder på. Til Ruby kan du fx bruge Mechanize og Nokogiri til at hente og parse websites.

Med venlig hilsen

Martin Poulsen, Driversnote

Fra Randers
Tilmeldt 3. Sep 08
Indlæg ialt: 367
Skrevet kl. 15:18
Hvor mange stjerner giver du? :

Hej Lars og Martin

Tak for jeres svar

Ud fra det software jeg fandt så så det nemt ud at installere og bare komme i gang og kunne godt forestille at de info man crwalede vil hurtig fylde på ens harddisk. Og så er det nok ude i server halløj man skal ud i hvis man skal crawle rimelig meget og tit. Men igen det afhænger af først at finde det rigtige software, hvis det kan lade sig gøre, og derefter finde ud af om det kan køres fra pc eller det skal køre fra en server evt.

Jeg ønsker at den skulle kunne følgende ting og så må i gerne komme med forslag til software eller evt.  Hvor meget det vil koste at få lavet fra bunden af. Kravene er følgende:

Registrere domænenavnt første gang den besøger siden samt også efterfølgende tjekke det, så den ikke bliver ved med at crawle sidder der ikke længere findes eller er lukkede.

Det skal være muligt at jeg selv vælger hvilke ting den skal crawle på hver enkelt side sådan at den ikke crwaler alt muligt og dermed fylder hurtigt op. Ved godt at det bliver til meget manuelt arbejde men det vil gøre ting nemmere på længere sigt.

Selv bestemme hvor tit de skal crawle sådan at de info jeg skal bruge skal være up to date.

Det skal også være muligt at udtrække tingene til feks. excel eller word og derefter skabe en overblik eller lave statistik. Men også en database hvor man kan sortere i tingene efter behov, for at derefter skabe sig en oversigt. Håber det er forståeligt

Det vil være både webshops samt almindelige sider den skal kunne crawle.

 
Fra København
Tilmeldt 21. Sep 05
Indlæg ialt: 443
Skrevet kl. 15:32
Hvor mange stjerner giver du? :

Hej igen

Du vil selv angive de sites du ønsker at crawle - men hvor mange handler det om og hvad er formålet?

Med venlig hilsen

Martin Poulsen, Driversnote

Fra Helsingør
Tilmeldt 23. Nov 06
Indlæg ialt: 992
Fra  Hvorfor kan man ikke slette sin virksomhed fra Indeks? Skrevet kl. 15:35
Hvor mange stjerner giver du? :

Gratis program at komme i gang med: http://www.screamingfrog.co.uk/seo-spider/
Fra Randers
Tilmeldt 3. Sep 08
Indlæg ialt: 367
Skrevet kl. 15:48
Hvor mange stjerner giver du? :

Ja det er rigtigt men også sådan at den crawler andre sider, kun danske, ud fra de ord man indtaster hvis det kan lade sig gøre

Hvor mange det drejer sig om er uvist pt men kunne forestille mig at det tal er høj, ret høj.

Formålet som jeg nævnte i starten af tråden er som et hyggeprojekt for at se hvordan det virker og hvilke info jeg finder frem til

Ellers sagt på en måde at bruge det til at undersøge nogen ting som senere evt. skal bruges til et større kommercielt projekt
Fra Randers
Tilmeldt 3. Sep 08
Indlæg ialt: 367
Skrevet kl. 15:49
Hvor mange stjerner giver du? :

Hej Peter

Peter Lauge:
Gratis program at komme i gang med: http://www.screamingfrog.co.uk/seo-spider/

Har kigget på det sådan bare hurtigt og det kunne evt være noget

Men skal lige kigge på det lidt mere grundigt
Fra Randers
Tilmeldt 3. Sep 08
Indlæg ialt: 367
Skrevet kl. 12:59
Hvor mange stjerner giver du? :

Jeg vil lige bumpe tråden en sidste gang Smile

Har læst andre tråde omkring denne emne her på Amino men uden at være klogere på det

Andre der har arbejdet med det her eller som bruger noget software, vil jeg gerne høre fra

På forhånd tak og god weeekend
Side 1 ud af 2 (11 indlæg)
Bliv gratis medlem pa Amino