Teknik, hosting & e-handelsløsninger

Svar: Web Scraper

Lars Rasmussen — Wed, 21 Dec 2011 11:19:10 GMT

Arlo:

Benyt Regular Expressions i PHP, du kan også scrape via Xpath til Google exel ark ret hurtigt.

Det er heller ikke noget problem, at benytte sig af XPath-parsing i PHP. Den mulighed er ofte også nemmere at bruge end RegEx.

Svar: Web Scraper

Lars Rasmussen — Wed, 21 Dec 2011 11:18:34 GMT

Arlo:

Benyt Regular Expressions i PHP, du kan også scrape via Xpath til Google exel ark ret hurtigt.

Du kan også bruge XPath i PHP :-)

Svar: Web Scraper

Divergens — Wed, 21 Dec 2011 11:11:52 GMT

Jeg har ikke fundet noget bedre end:

http://www.mozenda.com/

Mvh.

Thomas

Svar: Web Scraper

Arlo — Wed, 21 Dec 2011 10:39:09 GMT

Benyt Regular Expressions i PHP, du kan også scrape via Xpath til Google exel ark ret hurtigt.

Svar: Web Scraper

Mikkel Lindhard — Wed, 21 Dec 2011 10:17:03 GMT

bitrake.com kan også bruges - der kan du få dansk support :)

Svar: Web Scraper

Peter Skouhus — Tue, 05 Jul 2011 06:55:45 GMT

Mads:
Meget muligt. Men måske har de bare fået til opgave at scrape denne side en gang om dagen i 20 dage. Og så må kunden jo selv stå for hvad det skal bruges til. På den måde er man måske ikke interesseret i hvorvidt det er lovligt at bruge dem eller ej, men bare interesseret i om det er lovligt at scrape dataen.

Nemlig, det kunne jo være. Situationen er den at en potentiel kunde ønsker at samle priser på produkter som så skal bruges til intern kunde analyse. De indsamlede produkter skal ikke vises offentligt.

Mit spørgsmål var blot ud af almen interesse, ikke mere.

Tak til alle som forsøgte at hjælpe. @Andreas, WP - Robot den må jeg prøve.

Svar: Web Scraper

Mads — Mon, 04 Jul 2011 12:52:57 GMT

Martin T:

Mads Ravn:
"Må jeg scrape det og hvordan gør jeg så det?". Og ja, det synes jeg da bestemt man må medmindre andet er angivet og jeg ville anbefale at bruge HTTrack fordi det er nemt og gratis.

Hvis spoergsmaalet er "Maa jeg scrape det, og saa smide alt hvad jeg har downloaded vaek igen" er svaret sikkert ja, men det giver ikke nogle mening.

Naar folk vil scraper websites, ligger der implicit at de ogsaa vil bruge det de downloader til noget og spoergsmaalet om hvorvidt det er lovligt afhaenger af hvad de downloadede data skal bruges til.

Meget muligt. Men måske har de bare fået til opgave at scrape denne side en gang om dagen i 20 dage. Og så må kunden jo selv stå for hvad det skal bruges til. På den måde er man måske ikke interesseret i hvorvidt det er lovligt at bruge dem eller ej, men bare interesseret i om det er lovligt at scrape dataen.

Svar: Web Scraper

Niels Henriksen — Mon, 04 Jul 2011 12:52:10 GMT

Mads Ravn:
Men det er i orden at jeg drikker en sodavand og spiser en pose chips gratis, så længe jeg gør det inde i butikken?

Hvad tror du selv?

Svar: Web Scraper

Martin T — Mon, 04 Jul 2011 12:50:01 GMT

Mads Ravn:
"Må jeg scrape det og hvordan gør jeg så det?". Og ja, det synes jeg da bestemt man må medmindre andet er angivet og jeg ville anbefale at bruge HTTrack fordi det er nemt og gratis.

Hvis spoergsmaalet er "Maa jeg scrape det, og saa smide alt hvad jeg har downloaded vaek igen" er svaret sikkert ja, men det giver ikke nogle mening.

Naar folk vil scraper websites, ligger der implicit at de ogsaa vil bruge det de downloader til noget og spoergsmaalet om hvorvidt det er lovligt afhaenger af hvad de downloadede data skal bruges til.

Svar: Web Scraper

Andreas Linde — Mon, 04 Jul 2011 12:45:09 GMT

Prøv WP robot. Det er et fantastisk værktøj - du skal dog lige modificere det lidt, så det passer til dine behov! =)

Svar: Web Scraper

Mads — Mon, 04 Jul 2011 12:44:57 GMT

Niels Henriksen:

Mads Ravn:

Hvorfor skulle man ikke måtte scrape hvad man har lyst til? hvis du har adgang til det i en browser, har du vel også adgang til at scrape det. Nogle sider kan måske sige at du ikke må logge ind med 3rd party stuff, som f.eks. scrapere, men så er det jo op til dem at banne dig hvis det er.

Bare fordi der ikke står nogen ved kassen i en butik betyder det ikke at du må vade ud med varerne.

Men det er i orden at jeg drikker en sodavand og spiser en pose chips gratis, så længe jeg gør det inde i butikken?

Svar: Web Scraper

Mads — Mon, 04 Jul 2011 12:44:13 GMT

Martin T:

Mads Ravn:
Hvorfor skulle man ikke måtte scrape hvad man har lyst til? hvis du har adgang til det i en browser, har du vel også adgang til at scrape det. Nogle sider kan måske sige at du ikke må logge ind med 3rd party stuff, som f.eks. scrapere, men så er det jo op til dem at banne dig hvis det er.

Problemet er ikke saa meget at du ikke maa scrape det. Problemet er primaert at du sansynligvis* ikke maa uploade det du downloader til din egen website, og hvorfor saa scrape det hvis du ikke maa bruge det.

*Afhaenger af hvor meget du bruger, hvordan du bruger det og spoergsmaalet om lovlighed er temlig kompliceret her.

Enig, vi kan ikke bare gå rundt og stjæle (læs: tage frit fra andre og bruge det gratis på vores side). Men lige nu er spørgsmålet vel kun "Må jeg scrape det og hvordan gør jeg så det?". Og ja, det synes jeg da bestemt man må medmindre andet er angivet og jeg ville anbefale at bruge HTTrack fordi det er nemt og gratis.

Svar: Web Scraper

Niels Henriksen — Mon, 04 Jul 2011 12:42:40 GMT

Mads Ravn:

Hvorfor skulle man ikke måtte scrape hvad man har lyst til? hvis du har adgang til det i en browser, har du vel også adgang til at scrape det. Nogle sider kan måske sige at du ikke må logge ind med 3rd party stuff, som f.eks. scrapere, men så er det jo op til dem at banne dig hvis det er.

Bare fordi der ikke står nogen ved kassen i en butik betyder det ikke at du må vade ud med varerne.

Svar: Web Scraper

Martin T — Mon, 04 Jul 2011 12:41:00 GMT

Mads Ravn:
Hvorfor skulle man ikke måtte scrape hvad man har lyst til? hvis du har adgang til det i en browser, har du vel også adgang til at scrape det. Nogle sider kan måske sige at du ikke må logge ind med 3rd party stuff, som f.eks. scrapere, men så er det jo op til dem at banne dig hvis det er.

Problemet er ikke saa meget at du ikke maa scrape det. Problemet er primaert at du sansynligvis* ikke maa uploade det du downloader til din egen website, og hvorfor saa scrape det hvis du ikke maa bruge det.

*Afhaenger af hvor meget du bruger, hvordan du bruger det og spoergsmaalet om lovlighed er temlig kompliceret her.

Svar: Web Scraper

Per Bruun Jespersen — Mon, 04 Jul 2011 12:40:29 GMT

Mads Ravn:

Hvorfor skulle man ikke måtte scrape hvad man har lyst til? hvis du har adgang til det i en browser, har du vel også adgang til at scrape det. Nogle sider kan måske sige at du ikke må logge ind med 3rd party stuff, som f.eks. scrapere, men så er det jo op til dem at banne dig hvis det er.

Billeder, tekster/artikler må du ikke stjæle for eksempel da det er underlagt copyright af indehaveren? Fordi du kan gå ind i en butik må du heller ikke tage hvad selv helst bare fordi du har adgang til det.

PRiser og produktnavn og evt specifikationer er der ikke noget galt i at hente f.eks