fidusen er at du laver et link der er gemt feks ved at lave linket feks hvidt på hvid bagrund sådan et link vil ingen menesker trykke på men en crawler hopper selvfølgelig på linket....så sætter du det det op så alle der besøger denne side får banned deres ip ... selvfølgelig skal du sætte din robot.txt til at siden ikke skal besøges af google bots ....det er sådan jeg har forstået det og jo jeg vil tro det virker
overstående er selvfølgelig meget forenklet forklaret
det skulle desuden sættes op så man er rimelig sikker på at linket er det første den hopper på
Da jeg for alt i verden ikke vil risikere duplicate content, vil jeg gerne beskytte min amerikanske Affiliate-side imod at blive scrapet uanset, om der sidder en og vil scrape siden i Rusland, Danmark eller USA.
Hvad er den mest effektive løsning på denne problemstilling?
Du kan mig bekendt ikke forhindre scraping og samtidig gøre indholdet tilgængeligt for søgemaskiner. Men her er et rigtigt godt link, som for det første gennemgår best practice-proceduren for at forsøge at bekæmpe scraping og som desuden giver det "slå koldt vand i blodet"-perspektiv på scraping, at det sandsynligvis ikke er værd at spilde så meget energi på at ærgres over: How to Deal with Content Thieves, Scrapers and Online Plagiarism
jonas33, spændende info om spider traps; det har jeg ikke hørt om før. Jeg har prøvet at google for at finde ud af, hvordan Google forholder sig til spider traps uden held. Er der nogen, der har nogle gode (og aktuelle) links om spider traps og søgemaskiner?
Jeg har svært ved at se at du kan blokere scraping.
Det skriver jeg heller ikke, at jeg kan. Men jeg spørger, om jeg kan. Og der lader til at være visse muligheder. Som eksempelvis blokering af visse lande - ifølge min programmør!
Tekstforfatter - Jeg har 16 års erfaring fra reklamebureauer og som selvstændig. Ring: 2252 3381.
Jeg tror der er nogle alarmer der trigger hos google hvis de finder et usynligt link (hvid tekst på hvid baggrund) - det ligner snyd.
Det forhindrer stadig ikke mig i at crawle sitet, det betyder bare at det link stopper mig, måske er det det sidste, måske går jeg kun 10 niveauer ned...
I stedet for at fokusere på at undgå det og bruge kræfter på det, hvorfor så ikke se om du kan udnytte det? Lav evt affiliate links i dine feeds og artikler, lav backlinks i dine feeds og artikler. Det betyder at når de kommer ud på en anden side, så linker det hele til dig.
Jeg laver rådgivning, software, integrationer og softwarerrobotter. Se mere på median.dk
Bliv gratis medlem
Opret bruger