Jura, kontrakter, lovgivning, ophavsret m.m.

Sv.: Screen Scraping af sites. Hvad siger loven?

Anonymous — Wed, 23 Jul 2008 09:30:49 GMT

Simon J jeg må give dig ret i at screen scraping er en grim løsning.
Men som deMib siger, så er det i de fleste tilfælde den eneste løsning. Det må automatisk gøre den grimme løsning, ret god

Udvikler: Tak jeg kigger på det.

Sv.: Screen Scraping af sites. Hvad siger loven?

Mikkel deMib Svendsen — Wed, 23 Jul 2008 08:37:06 GMT

> Jeg holder stadig på at Screen Scraping ikke er særlig en god idé. :)

Det er muligt, men i 99% af de situationer, hvor jeg eller mine kunder har skulle bruge data andre steder fra har screen scraping været den eneste mulighed. Og det fungerer fint for både mig og flere MEGET store kunder jeg har. Så jeg ved, at i praksis kan det fungere fint.

Den praktiske mulighed er som regel enten at lave screen scraping eller at droppe projektet. Jeg er selv af den type, der heller gør noget ved sagen, frem for at sidde og snakke teoretisk om hvad der ville være bedst, når det nu alligevel ikke kan lade sig gøre i praksis. Og det at bede en masse, måske tusindvis, af andre sites om at standardisere deres formater er en drøm, som jeg i hvert fald ikke gider at vente på går i opfyldelse :)

Sv.: Screen Scraping af sites. Hvad siger loven?

udvikler — Wed, 23 Jul 2008 06:01:07 GMT

Tobias G:
Bare et lille sidespørgsmål; må man ikke den slags, eller må man ikke OFFENTLIGGØRE den slags? Jeg tænkte på et scenarie hvor man laver data scraping til internt brug i en virksomhed for at lave strategiske beslutninger...

Brugsretten til siden kan indeholden en klausul om at du ikke må foretage automatiserede opslag/søgninger.

Tobias G:
Har du nogle erfaringer med værktøjer til screen scraping?

Kapow Technologies laver så vidt jeg ved det mest avancerede software til den slags.

Sv.: Screen Scraping af sites. Hvad siger loven?

Simon Justesen — Wed, 23 Jul 2008 01:45:26 GMT

Mikkel deMib Svendsen:

> Derudover er Screen Scraping er generelt ikke en god idé rent teknisk,

Så er det fordi du ikke laver det godt nok! :)

Det er meget muligt - jeg er bestemt ikke ekspert på det område :), men der er lige nogle ting jeg ikke kan få til at hænge sammen:

Lad os sige du ejer et website (vi kalder det website 1), på det website ønsker du at hente en nyhedsoversigt fra website 2.
Det ville være hamrende nemt, hvis website 2 havde et RSS-feed, som de udgav i forbindelse med deres nyheder. Men i dette scenarie har de ikke. Du er derfor nødt til at screen scrape. Du går herefter i gang med at skrive en mængde kode som skal hente lige præcis det indhold ind. I din research finder du ud af, at website 2 indeholder nogle markeringer for, hvor nyhedsteksterne går til og fra (det kan enten være divs med et id eller noget helt andet). Disse markeringer beslutter du dig for at bruge i din kode og alt fungerer efter hensigten - piece of cake.

Men så går der 1½ år. Folkene bag website 2 hyrer et nyt webbureau til at kreere et nyt website, det medfører nogle omstruktureringer på nyhedsdelen. Lige netop her vil det i mit hoved gå galt. Dit screen scraper-script kan jo på ingen måde vide, hvorfra og hvortil det skal læse indhold, medmindre det har en form for markering at gå efter - her starter teksten og her slutter teksten. I realiteten kan du komme til at læse lidt over 4 mio linjer markup kode, hvis du er uheldig (okay, vildt overdrevet)

Du ville naturligvis reagere på at du ikke længere ville få det rigtige output fra website 2 og skrive dit script om så det passer igen, men alt det bøvl kan med garanti undgåes med de rette aftaler og med et ordentligt dataudvekslingsformat. Et andet aspekt er ydelsen på de to servere - din og modpartens, ifm. screen scraping, men det er en anden diskussion.

Summa summarum.. Jeg holder stadig på at Screen Scraping ikke er særlig en god idé. :)

Fortsat god dag/nat

Sv.: Screen Scraping af sites. Hvad siger loven?

Mikkel deMib Svendsen — Tue, 22 Jul 2008 09:16:46 GMT

> Derudover er Screen Scraping er generelt ikke en god idé rent teknisk,

Så er det fordi du ikke laver det godt nok! :)

Sv.: Screen Scraping af sites. Hvad siger loven?

Kim Sand Sørensen — Tue, 22 Jul 2008 06:54:30 GMT

Mikkel>>

Den med google havde jeg slet ikke tænkt på, men det er jo mere eller mindre det de bygger deres forretning på, og ja det er forretning så de udnytter jo dataene på en måde så de kan tjene på det. Der følger dog - i de fleste tilfælde - formentligt flere fordele end ulemper med når det er google fremviser dataene, og dermed vil meget få brokke sig over at deres indhold præsenteres.

Det burde være det samme som hvis et specialiseret site bruger metoden til kun at trække data fra specielle sites, der er vel ingen forskel. Forskellen fra Google og til et specialiseret site som boliga, må jo være den ekstra data som fremvises og måden det fremvises på, samt de ekstra features det giver med den ekstra data, derudover er der vel ingen forskel?

Og som Simon siger så kan der være et stort problem i at lave en screen scraping fra sites som ikke ønsker det og dermed kan ændre meget lidt og så lægger det hele din screen scraping engine ned, indtil du har rettet problemet, og så kan de gøre det igen, osv indtil man ikke gider mere.

Jeg tror dog virkeligt at man skal fremvise nogle utroligt store fordele til de site ownere som du vil lave screen scraping fra, især når der er tale om de store sites, hvis vi tager bilbasen, så har de en betydelig del af deres indtjening på annoncemarkedet(banner o.lign) derved kunne de tabe en del omsætning ved at man laver et site med samme indhold.

Sv.: Screen Scraping af sites. Hvad siger loven?

Simon Justesen — Tue, 22 Jul 2008 01:15:40 GMT

Greyzone:

Hvis man vil lave screen scraping af nogle danske sites, for at lave et web 2.0 mash up, kan man så det?
Er det lovligt? Og i så fald, i hvor stor en grad er det ulovligt?

Hvor meget må man, og hvor meget må man ikke.

Jeg kan nævne www.boliga.dk som et typisk eksempel på et screen scraping web 2.0 site, som hiver data fra diverse boligsites, og viser det på deres eget site med en grafisk brugerflade i form af google maps.

Jeg ville nok spørge de pågældende steder, du ønsker data fra om lov før jeg ville begynde at hive deres data ind i egne systemer. De har jo copyright på det materiale de har på deres website.

Derudover er Screen Scraping er generelt ikke en god idé rent teknisk, fordi du kan komme ud for, at hvis bare indholdsudbyderen laver en lille ændring i layoutet, så går dit site i bøf og de data der burde vises - vises enten ikke eller forkert. Derfor så er det en langt bedre idé i mine øjne at høre indholdsudbyderen om du kan få adgang til de rå data - måske i form af XML som du så kan parse (oversætte/fortolke) og vise i dit eget layout. Det kan godt være det koster penge, men sådan er det jo og så har du i det mindste din ryg fri juridisk. Det mener jeg bestemt ikke du har hvis du blot bruger det på dit eget site uden at få lov.

Sv.: Screen Scraping af sites. Hvad siger loven?

Mikkel deMib Svendsen — Mon, 21 Jul 2008 23:31:26 GMT

> Nu tager google jo og indekserer til sideejernes fordel

Det vil nogle mene. Andre er uenige. Men uanset dette ændrer det ikke ved de juridiske aspekter. Der er intet forbehold i ophavsretsloven i forhold til om man måtte mene det gavner dem man kopierer fra.

> mon de ville blive glade for det?

Nej, men Google er også ekstremt dobbeltmoralske på både dette og en række andre områder. De kører med en dobbelt standard - en for det som alle andre må finde sig i (efter deres mening) og så en anden standard for hvad de selv mener de skal stå model til. Det er en af de mere kedelige sider af Google.

Sv.: Screen Scraping af sites. Hvad siger loven?

Anonymous — Mon, 21 Jul 2008 22:52:15 GMT

Nu tager google jo og indekserer til sideejernes fordel, hvor jeg ville nappe data fra et site som udstiller data om andre ting.

Ligesom hvis jeg lavede endnu en søgemaskine, baseret på googles data. hehe. mon de ville blive glade for det?

Hva er den bedste fremgangsmåde egentligt? Er det værd at spørge diverse site owners, om man kan nappe data en gang om dagen? Eller skal man gøre det og bagefter sige undskyld?

Sv.: Screen Scraping af sites. Hvad siger loven?

Mikkel deMib Svendsen — Mon, 21 Jul 2008 20:11:01 GMT

> Det virke dog fra mit synspunkt en smule snyd at man kan "stjæle" data på denne måde og dermede lukrere på andres i mange tilfælde hårde arbejde.

Ja, men det går nu meget godt for f.eks. Google :)

Sv.: Screen Scraping af sites. Hvad siger loven?

Kim Sand Sørensen — Mon, 21 Jul 2008 19:10:50 GMT

Hej

Jeg kan ikke umiddelbart finde ud af hvad EOS kom frem til med hensyn til lovligheden af den scraping som boliga lavede, udover at EOS rent faktisk kom ud og gav boligsiden en røffel for at deres side ikke var god nok.

Derfor kunne mit spørgsmål være, ville den slags scrapping også være lovlig med scrapping af bilannoncer fra bilbasen, bilzonen, oghvad med dba.dk, qxl, osv osv?? Det er vel det samme? Og måske den smule præcedens der evt. er skabt i boliga sagen kan bruges i fremtidige sager i lignende tilfælde. Det virke dog fra mit synspunkt en smule snyd at man kan "stjæle" data på denne måde og dermede lukrere på andres i mange tilfælde hårde arbejde.

Sv.: Screen Scraping af sites. Hvad siger loven?

Anonymous — Mon, 21 Jul 2008 17:01:11 GMT

Hvor typisk. Tak Demib for det fyldige svar.

Har du nogle erfaringer med værktøjer til screen scraping?
Jeg tror sku at jeg gør det alligevel, og så må de komme efter mig hvis de vil. I værste tilfælde kan jeg hyre end Inder til at lave manuelt arbejde en gang om ugen lol, for at vedligeholde data.

Sv.: Screen Scraping af sites. Hvad siger loven?

Mikkel deMib Svendsen — Mon, 21 Jul 2008 13:31:42 GMT

Offentliggørelsen af sådan data vil sikkert være "værre" rent juridisk end hvis det alene er til internt brug. Men jeg tror at begge dele af dækket af datalovgivningen. For eksempel tror jeg, at mit eksempel ovenfor kunne opfattes som personfølsom data, når det kombineres som beskrevet, og derfor skal opbevares særligt forsvarligt.

Men jeg er ikke helt inde i alle de regler - jeg ved blot at det både er kompliceet og farligt :)

Sv.: Screen Scraping af sites. Hvad siger loven?

Tobias G — Mon, 21 Jul 2008 13:22:57 GMT

Mikkel deMib Svendsen:

En af mine ideer var at samkøre data fra politiets døgnrapporter med navnene på Folketingets medlemmer, da jeg er synes meget tyder på, at det er en af de mere kriminelle grupper i Danmark - men den slags må man ikke :)

Bare et lille sidespørgsmål; må man ikke den slags, eller må man ikke OFFENTLIGGØRE den slags? Jeg tænkte på et scenarie hvor man laver data scraping til internt brug i en virksomhed for at lave strategiske beslutninger...

Sv.: Screen Scraping af sites. Hvad siger loven?

Mikkel deMib Svendsen — Mon, 21 Jul 2008 11:31:29 GMT

En ting er hvad der er lovligt eller ulovligt - noget andet er, hvor mange penge og resurser du har til, at kæmpe for "din ret". For uanset om det er lovligt eller ej, forhindrer det ikke dem du scraper fra, at rejse erstatningssager mod dig. Og dem skal du så bruge penge og tid på at kæmpe. Uanset om der ikke er noget som helst hold i sagerne er der intet i vors retssystem der forhindrer, at de kan rejses - og dermed tvinge dig til at bruge penge på at forsvare dig. Nogle vinder du måske, andre taber du måske. Det er desværre umuligt at sige med sikkerhed på forhånd hvor det ender.

Udover problemerne med scraping har vi også nogle ret stramme dataregler i Danmark, der ofte gør ellers spændende mash-up projekter umulige. Jeg har som konsulent hjulpet flere større Amerikanske mash-up sites - bl.a. Zillow.com og Avvo.com. I USA er der væsentligt mere lempelige regler for data-samkøring, men det har alligevel ikke forhindret sager der. Jeg mener det tog under 8 timer efter Avvo.com lancerede til de havde den første sag på halsen :)

Jeg har selv haft flere gode ideer til mash-up sites i Danmark, men med den stærke begrænsning på data-samkøring der er, har jeg droppet dem. En af mine ideer var at samkøre data fra politiets døgnrapporter med navnene på Folketingets medlemmer, da jeg er synes meget tyder på, at det er en af de mere kriminelle grupper i Danmark - men den slags må man ikke :)