Køb et Amino Sponsorlink
Hej,Er der nogen herinde der ved hvordan jeg for hente daglig informationer ned fra en hjemmeside, jeg har læst lidt om crawlers og scrapers men er der nogen der ved hvad der nemmest og gratis at bruge, og det bliver nød til at pr. Automatik, og det så bliver gemt i en XML fil eller andet jeg så kan hente dataen fra hver dag. Håber der nogle af jer amino folk der kan hjælpePft.
Fra vision til virkelighed af Apps og websites
lhcreative:Er der nogen herinde der ved hvordan jeg for hente daglig informationer ned fra en hjemmeside,
Normalt er det en webscraper som tager indholdet på hjemmesiden og piller de dele ud som du skal bruge. Men du skal tænke på at laver ejerne indholdet om så skal webscraperen rettes.
Det bedste du kan gøre er at spørge om dem der har hjemmesidem om de har nogle webservices du kan hente fra.
Send SMS'er til dine kunder for kun 17 øre pr stk. Intet abonnement eller oprettelsesafgif. www.textreactor.com
Erfaren programmør i .NET - Jeg har været programmør i mere end 14 år - Er flydende i Umbraco
Du kan fx benytte Scrapy som basis for en scraper du selv udvikler. Den kan også logge ind på et site med denne scraper, og på den måde hente content som du normalt ikke kan scrape.
Hvis du finder en "færdig" løsning, må du gerne poste den her.
Hauthorn IT - Ønsker du en professionel WordPress hjemmeside, effektiv søgemaskineoptimering eller en wordpress backup aftale?
Hej,Tak for svaret. Ja jeg ved den mulighed er der, men hvis jeg ikke har den mulighed, enten skal jeg selv manuelt ind og skrive værdier af eller have det således at en scrapers eller hvad de hedder henter det pr. Automatik, og det er de sidste jeg helst ser. Så hvis der er nogle der har kendskab til programmer eller lign. Vil jeg meget gerne høre om det. Pft
Ja har læst om scrapy men håber lidt på, der noget mere brugervenligt software, så jeg ikke selv skal kode det men "bare" fortælle den at den skal hente fra den og den side inden for de og de HTML tags osv.
Du skal lige være opmærksom på ophavsret hvis du gør det her. Det lyder til du kan risikere at bryde nogens ophavsret. Læs evt. mere her: http://www.byens-advokat.dk/kopieret-tekst-billeder-saadan-goer-du/
GREENWEB.DK Infosystemer og TouchDigitale skilte til din virksomhed, brug din eksisterende computer og LCD skærm og omdan dem til et digitalt skiilt. Vis reklamer for dine produkter og opnå bedre salg. Kommuniker let og effektivt med dine kunder. Vi udvikler også touch applikationer til selvbetjening lad dine kunder betjene sig selv med en touch skærm. Besøg os på www.greenweb.dk
Det har jeg undersøgt, og jeg bryder ikke nogen ophavsret ved at gøre det. Altså hvis jeg finder ud af hvordan man kan gøre det :)
Ta' f.eks. et kig på JSOUP ( http://jsoup.org/ ) som godt nok er til Java, men ret nemt at gafle fra HTML sourcen via noget der ligner JQuery selectors og andet godt..
Så skal du evt. bare bygge en simpel crawler oven på alt efter hvor avanceret du ønsker det..
/Lars Borup
it-arbejde.dk - specialister i middleware og server-side softwareudvikling, J2EE konsulent og Django.