Søgemaskineoptimering (SEO) hjælp & gode råd

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

Volt & Volume — Tue, 11 Jun 2013 09:21:38 GMT

Tak til alle for deres indlæg. Tråden har været til stor nytte for min programmør og jeg, og den vil sikkert også være det for andre, der kigger med.

Dbh

Thomas

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

B. Hvarregaard — Tue, 11 Jun 2013 08:04:10 GMT

Alt muligt, alt fra at finde broken links og DC til at scrape billeder, indhold, produkter, statistik osv.

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

John J — Tue, 11 Jun 2013 06:13:52 GMT

B. Hvarregaard:

Andre laver crawlers som ligner en almindelig bruger eller google. Intet problem, har selv lavet dem mange gange.

Med hvilket formål har du det?

/John

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

B. Hvarregaard — Tue, 11 Jun 2013 06:07:44 GMT

Jeg tror der er nogle alarmer der trigger hos google hvis de finder et usynligt link (hvid tekst på hvid baggrund) - det ligner snyd.

Det forhindrer stadig ikke mig i at crawle sitet, det betyder bare at det link stopper mig, måske er det det sidste, måske går jeg kun 10 niveauer ned...

I stedet for at fokusere på at undgå det og bruge kræfter på det, hvorfor så ikke se om du kan udnytte det? Lav evt affiliate links i dine feeds og artikler, lav backlinks i dine feeds og artikler. Det betyder at når de kommer ud på en anden side, så linker det hele til dig.

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

Volt & Volume — Mon, 10 Jun 2013 22:49:15 GMT

B. Hvarregaard:

Jer begge.

Jeg har svært ved at se at du kan blokere scraping.

Det skriver jeg heller ikke, at jeg kan. Men jeg spørger, om jeg kan. Og der lader til at være visse muligheder. Som eksempelvis blokering af visse lande - ifølge min programmør!

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

Infopreneur — Mon, 10 Jun 2013 18:07:34 GMT

jonas33, spændende info om spider traps; det har jeg ikke hørt om før. Jeg har prøvet at google for at finde ud af, hvordan Google forholder sig til spider traps uden held. Er der nogen, der har nogle gode (og aktuelle) links om spider traps og søgemaskiner?

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

jonas33 — Mon, 10 Jun 2013 17:44:01 GMT

når jeg får tid skal jeg gerne melde tilbage på om det virker

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

Infopreneur — Mon, 10 Jun 2013 17:42:03 GMT

Volt & Volume:

Da jeg for alt i verden ikke vil risikere duplicate content, vil jeg gerne beskytte min amerikanske Affiliate-side imod at blive scrapet uanset, om der sidder en og vil scrape siden i Rusland, Danmark eller USA.

Hvad er den mest effektive løsning på denne problemstilling?

Du kan mig bekendt ikke forhindre scraping og samtidig gøre indholdet tilgængeligt for søgemaskiner. Men her er et rigtigt godt link, som for det første gennemgår best practice-proceduren for at forsøge at bekæmpe scraping og som desuden giver det "slå koldt vand i blodet"-perspektiv på scraping, at det sandsynligvis ikke er værd at spilde så meget energi på at ærgres over: How to Deal with Content Thieves, Scrapers and Online Plagiarism

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

jonas33 — Mon, 10 Jun 2013 17:39:02 GMT

Volt & Volume:
Jeg har svært ved at se hvordan du vil gøre det.

fidusen er at du laver et link der er gemt feks ved at lave linket feks hvidt på hvid bagrund sådan et link vil ingen menesker trykke på men en crawler hopper selvfølgelig på linket....så sætter du det det op så alle der besøger denne side får banned deres ip ... selvfølgelig skal du sætte din robot.txt til at siden ikke skal besøges af google bots ....det er sådan jeg har forstået det og jo jeg vil tro det virker

overstående er selvfølgelig meget forenklet forklaret

det skulle desuden sættes op så man er rimelig sikker på at linket er det første den hopper på

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

B. Hvarregaard — Mon, 10 Jun 2013 17:04:10 GMT

Jer begge.

Jeg har svært ved at se at du kan blokere scraping.

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

Volt & Volume — Mon, 10 Jun 2013 17:01:25 GMT

B. Hvarregaard:

Jeg har svært ved at se hvordan du vil gøre det.

Du kan ikke genkende en crawler!

Tåberne laver crawlers hvor der står: "Min Crawler" i user agent.

Andre laver crawlers som ligner en almindelig bruger eller google. Intet problem, har selv lavet dem mange gange.

Er det mig eller Jonas, du skriver til? Eller en helt anden?

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

B. Hvarregaard — Mon, 10 Jun 2013 16:58:44 GMT

Jeg har svært ved at se hvordan du vil gøre det.

Du kan ikke genkende en crawler!

Tåberne laver crawlers hvor der står: "Min Crawler" i user agent.

Andre laver crawlers som ligner en almindelig bruger eller google. Intet problem, har selv lavet dem mange gange.

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

Volt & Volume — Mon, 10 Jun 2013 16:47:22 GMT

jonas33:

Bjarke Klüwer:
Jeg bider dog mærke i " ... meaning that a "polite" web crawler is affected to a much lesser degree than an "impolite" crawler." fra http://en.wikipedia.org/wiki/Spider_trap. Så vær sikker på hvad du gør, før du gør det, så ikke kommer i unåde hos søgemaskinerne.

jeg har tilføjet lidt mere info til mit indlæg ved ikke om du fik det med :-) og som sagt det er ikke en metode jeg selv har afprøvet endnu men når jeg får tid skal det klart afprøves.... man skal selvfølgelig sørge for at google bot ikke hopper i fælden men det skulle der også være en løsning på

Uanset hvad, så takker jeg for input. Det bliver naturligvis lidt for teknisk til mig, men det lyder i hvert fald interessant, Jonas. Jeg videresender denne tråd til min programmør, så har han da noget at forholde sig til.

Dbh

Thomas

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

jonas33 — Mon, 10 Jun 2013 15:53:04 GMT

Bjarke Klüwer:
Jeg bider dog mærke i " ... meaning that a "polite" web crawler is affected to a much lesser degree than an "impolite" crawler." fra http://en.wikipedia.org/wiki/Spider_trap. Så vær sikker på hvad du gør, før du gør det, så ikke kommer i unåde hos søgemaskinerne.

jeg har tilføjet lidt mere info til mit indlæg ved ikke om du fik det med :-) og som sagt det er ikke en metode jeg selv har afprøvet endnu men når jeg får tid skal det klart afprøves.... man skal selvfølgelig sørge for at google bot ikke hopper i fælden men det skulle der også være en løsning på

Svar: Hvordan beskytter jeg bedst muligt min amerikanske Affiliate-side imod at blive scrapet?

spam — Mon, 10 Jun 2013 15:50:02 GMT

jonas33:

http://en.wikipedia.org/wiki/Spider_trap er løsningen jeg har ikke helt fået mig sat ind i det men har hørt om flere der benytter metoden. du kan også prøve at google honey pot

Det er en mulighed.

Jeg bider dog mærke i " ... meaning that a "polite" web crawler is affected to a much lesser degree than an "impolite" crawler." fra http://en.wikipedia.org/wiki/Spider_trap. Så vær sikker på hvad du gør, før du gør det, så ikke kommer i unåde hos søgemaskinerne.