Lovligt at scrabe internettet med selvudviklet bot?

Som software udvikler har jeg fået endnu ide som kræver man skraber nettet som eks Pricerunner, google osv gør, har svært ved at se det er ulovligt når google indexere og scraper ens egen side uden man har givet dem lov. 

Så tænker inden jeg går i fuld krig med mit spændene projekt, vil jeg selvfølgelig kun scrape "authorized" data som er offentlige tilgængelige så jeg ikke decideret kan ryge under hacker paragrafen?. 

MVh P 

Hvis du offentliggøre data, tekst mm fra scraping, kan du godt forberede dig på en masse sager fra ejerne af disse data. Og alt praksis viser, at du formegentlig taber disse sager, hvis det anvendes kommercielt.

Eneste undtagelse er søgemaskiner, som er underlagt nogle lidt andre vilkår. 

Jeg sætter stor pris på dit svar! 

Men er vi enige om det er grå zone?? 

Altså et andet eksempel er jo alle disse indexering price-runner osv. som crawler priser på forskellige produkter hvordan kan de rent juridisk gøre det lovligt? 

Tænker lad os nu antage at "Copyright loven" gør du ikke kan offentligøre andres data, men hvis jeg linker direkte tilbage til det content og data jeg har indsamlet, er det vel rent juridisk under "fair use" i copyright loven, eller jeg helt galt på den? 

Tænker der er så mange virksomheder som anvender bots.... 

Noget andet er - men blot et tip:

- Sørg for at respektere robots.txt

- Lyt til disallow

- Giv mulighed for at sætte "crawl-rate"

- Hvis du laver dit system multi-threaded, så tjek du ikke scanner for mange sider på samme IP adresse samtidig

Generelt set, lad vær med at være et røvhul, fordi det vil lande dig på blocklists hos udbydere hvis du ikke har en acceptabel crawl-rate. Der findes nogle danske sider som crawler webshops men gør det ufattelig hurtigt uden at tænke over sidens opbygning eller lign, og derfor kan belaste en side unødigt, og nogle af disse crawlers og ejerne bag dem respektere ikke en venlig email om at nedsætte crawl-rate - løsningen er jo så at man som udbyder blot blokere dem på netværket.

Så hvis du er venlig, så er vi (både udbydere og ejere af sider) også oftest venlige