Bliv gratis medlem
Duplicate Content (ofte bare forkortet til DC) er et udtryk, der bruges om helt eller næsten identisk indhold, som kan crawles og indekseres af søgemaskiner som Google, via mere end en URL.
I modsætning til hvad mange tror – og Google nogle gange giver udtryk for, er det stadig et kæmpe problem, en stor SEO-udfordring og kan være med til i alvorlig grad at skade din synlighed i Google!
Men hvorfor er Duplicate Content så stort et problem, hvordan identificerer du det og hvad gør du ved det? Det skal vi se lidt nærmere på i dette indlæg.
OBS: DC er et omfattende emne. Dette indlæg er derfor opdelt i to artikler. Den første halvdel får du nu - næste halvdel kan du læse i næste uge.
Gratis uddrag fra Grundbog i SEO
Teksten i nedenstående indlæg er et forkortet og lettere redigeret uddrag fra min nyeste SEO-bog: Grundbog i SEO.
Bogen er fuld af effektive SEO-tips som nedenstående, som er lige til at gå til for alle - både i forhold til teknisk SEO, stærke strategier, brugbare analyser, linkbuilding, optimering af indhold, user engagement, effektmåling og (SEO-) sikker flytning af websites.
Hvorfor er Duplicate Content et problem?
Helt grundlæggende giver det ikke mening for Google at indeksere det samme indhold, de samme artikler eller produkter med samme (eller næsten de samme) beskrivelser og priser mange gange. Det fylder bare unødigt op i deres indeks, og kan føre til søgeresultater med for meget af det samme frem for et bredt og varieret svar.
Derfor forsøger Google løbende at identificere det, de opfatter som Duplicate Content og filtrerer det ud af deres indeks.
Og som jeg har skrevet et par gange tidligere, kan det have en meget negativ påvirkning på hele dit website – også dine gode unikke sider – hvis Google filtrerer indhold ud.
For når Google filtrerer indhold ud fra dit website – uanset om det er fordi det er Duplicate Content, tyndt indhold, reklametunge sider eller andet, så sender det et klart signal om ringe kvalitet.
Det er derfor meget vigtigt, at du gør alt, hvad du kan for at undgå Duplicate Content.
Google er blevet bedre til at filtrere Duplicate Content – så det skader mere
Duplicate Content filtrering er en meget kompleks og teknisk udfordrende opgave for Google. I praksis skal hver af de mange milliarder sider Google har indekseret sammenlignes med hinanden for at finde identiske versioner.
Og for at gøre det hele endnu mere kompliceret, leder Google ikke blot efter sider, der er 100% identiske, men også sider, hvor den væsentlige del af det unikke indhold, er det.
Derfor foregår processen med DC-filtrering ikke med det samme, når Google crawler og indekserer dit website, men kører som et selvstændigt program ved siden af.
Det betyder, at du kan opleve, at du teknisk set har DC på dit website, men at der ikke er akutte problemer med det i Google. Så tænker du måske, at det nok er ok, men pas på med det!
For DC kan i praksis virke som en landmine under din SEO-strategi. Den ene dag er alting fint. Du ranker godt i Google og får masser af trafik. Den neste dag har Google identificeret DC på dit website, filtreret siderne ud og pludselig falder din trafik dramatisk. Det har jeg desværre set alt for ofte.
Når det sker, bliver mange forvirret, for de har jo ikke ændret noget lige for nyligt. Så hvorfor bliver de ”straffet” nu?
Forklaringen er som sagt, at DC-filtreringen ikke kører synkront med crawling og indeksering. Så der kan gå mange måneder, eller endda år fra problemet opstår på dit website til Google ser det, og du oplever konsekvenserne af det.
Sådan kan du identificere Duplicate Content
Hvis dit website allerede er publiceret og indekseret i Google, kan du undersøge, om du har konkrete problemer med Duplicate Content med en Google søgning.
Du kan starte med at søge efter et udsnit af indholdet på en side kombineret med den avancerede søgefunktion ”site:” efterfulgt af dit domæne.
Lad os se på et eksempel. En produktside fra elgiganten.dk
Hvis vi søger på site:www.elgiganten.dk efterfulgt af den første del af produktteksten i citationstegn, så søgningen således ud (da jeg lavede den):
- site:www.elgiganten.dk "Det fritstående komfur ELI23020HV fra Voss med induktionskogeplade med 4 kogezoner og 4 boostere, en stor ovn med mange funktioner og Katalytisk rengøring, vil hjælpe dig med at tilberede måltider til hele familien."
Resultatet i Google så således ud:
Umiddelbart vises kun et resultat, så man kunne tro, alt var OK. Men det er det ikke helt. Hvis du scroller ned i bunden af søgeresultatet, kan du se denne besked:
Alene dette er en indikation på, at der nok er noget galt. Hvis du klikker på linket, viser Google alle de 7 resultater, de har indekseret – men altså også allerede identificeret som stort set er identiske.
Og som du kan se nedenfor, er det ikke helt forkert. Det ser ud til at være nøjagtigt det samme produkt, som man altså kan finde på hele 7 forskellige URL’er på elgiganten.dk
I de næste afsnit skal vi se nærmere på, hvordan det kan ske, og hvad du kan gøre ved det.
Hvis du ikke alene vil se, om der er identiske versioner af teksten på dit eget website, men på tværs af sites, kan du udelade site:www.elgiganten.dk og blot søge på teksten i citationstegn.
I det konkrete eksempel finder Google 10 resultater på forskellige websites, hvoraf i hvert fald de første 3 ser helt identiske ud – Elgigantens almindelige version, en version fra et færøsk website (med dansk tekst) og så en elektronisk tilbudsavis fra Elgiganten.
Du kan også indsnævre din søgning til kun at lede efter sider, der har den samme overskrift. I så fald skal du skrive intitle: foran overskriften.
Det kunne f.eks. være en søgning på ovenstående sides titel:
- site:www.elgiganten.dk intitle:"VOSS-Electrolux induktionskomfur ELI23020HV"
I det tilfælde finder Google 5 forskellige URL’er på sitet med præcis den samme titel.
Det kan naturligvis godt være lidt besværligt at lave den slags tests af alle dine sider, men det behøver du heller ikke.
Hvis du finder eksempler som ovenstående på nogle af dine sider, er der en stor sandsynlighed for, at det er et generelt problem på dit site, du skal finde nogle generelle løsninger på.
Der findes også tjenester, som kan gøre arbejdet med at finde identisk indhold på tværs af websites lidt lettere. En af de mest brugte tjenester hedder CopyScape. Den finder du her:
Du kan i begrænset omfang bruge denne service gratis, men ønsker du for alvor at overvåge dit website, skal de betale for brugen.
Uanset om dit website er offentliggjort eller ej, er der også en tredje mulighed og det er Screaming Frog, som jeg efterhånden har nævnt et par gange.
Med Screaming Frog kan du identificere muligt Duplicate Content på dit eget website på flere måder. Både under URL, TITLE og META-description kan du filtrere for duplikerede versioner. Crawl dit website med jævne mellemrum og tjek de tre rapporter for eventuelle problemer.
Forskellige typer af Duplicate Content
Der findes i praksis uendeligt mange former for Duplicate Content. Nogle skyldes tekniske problemer og andre redaktionelle.
Lad os starte med at se lidt nærmere på nogle af de mest almindelige tekniske DC-problemer.
Domæner og protokoller
Uanset om du bruger www eller ej, om du anvender andre subdomæner (som blog.DitWebsite.dk), eller om dit website kører på en sikker server (SSL/ https) er det vigtigt, at man kun kan få adgang til dine sider via den ene version, du har valgt.
For at teste om dit website er sat rigtigt op, kan du manuelt forsøge at tilgå forskellige af dine sider med og uden www, med og uden dine sub-domæner og med https:// og http://.
Hvis man kan se en side både med og uden www, med både http:// og https:// eller via et eller flere subdomæner, så har du et problem, der skal løses.
Med og uden trailing slash
Nogle CMS og webløsninger afslutter alle adresser med traling slash. Det vil sige et / efter filnavnet.
F.eks.: www.DitDomain.dk/en-side/
Andre CMS og webløsninger bruger ikke trailing slash.
F.eks. www.DitDomain.dk/en-side
I forhold til SEO er det ligegyldigt om dit system bruger det ene eller det andet format.
Det helt afgørende er, at man ikke kan tilgå dine sider både med og uden trailing slash. For så er der tale om Duplicate Content.
Omskrevne – læsevenlige URL’er
Jeg anbefaler alid, at du benytter ”Læse- og søgemaskinevenlige URL’er” på dit website. Men dine sider vil teknisk set normalt også eksistere i et u-omskrevet format. Omskrivning er blot en virtuel adresse – en ekstra genvej til siderne.
Det er vigtigt, at man kun kan tilgå dine sider via det omskrevne format, du bruger og ikke via det originale format.
Lad os se på et eksempel. Her er en side med en læsevenlig URL fra vores WordPress blog på Waimea.dk:
Det u-omskrevne format på denne side er:
Hvis du klikker på det sidste link kan du se, at du viderestilles med et permanent (301) redirect til den omskrevne URL.
De fleste CMS håndterer heldigvis det her helt automatisk for dig. Det er også tilfældet for WordPress. Men hvis du ikke bruger WordPress eller bare er usikker på, om det er sat rigtigt op, anbefaler jeg, at du tester det selv.
Produkter, blogindlæg eller sider i flere kategorier
Som beskrevet i afsnittet: ”Website arkitektur” på side 116 kan det være en god ide at organisere indholdet på dit website i flere kategorier, som også reflekteres i URL’en.
Problemet i forhold til DC kan opstå, hvis nogle af dine sider eller produkter optræder i mere end én kategori. Og det er faktisk meget almindeligt.
Der kan være mange gode grunde til, at sider eller produkter findes i mere end en kategori.
Lad os se på et eksempel – matas.dk
I kategorien ”dagcreme” har de blandt andet produktet ”Beautiful Glow Day Cream”.
Det samme produkt findes også i deres tilbudskategori.
Matas har løst dette problem på en rigtig god og sikker måde. For selvom produkterne findes i to eller flere kategorier, reflekteres det ikke i URL’en til selve produktet. Alle produkter ligger i roden af websitet. For det konkrete produkts vedkommende er URL’en – uanset om man klikker sig ind fra ”dagcreme” eller ”tilbud” kategorien - følgende:
Den store fordel ved denne løsning er, at du kan være helt sikker på, at der ikke opstår DC-problemer med dine produkter – også selvom du placerer dem i mange forskellige kategorier. En anden fordel er, at du undgår meget lange URL’er.
Sortering af indhold
I de fleste webshops (og i nogle almindelige CMS) kan man sortere eller filtrere indhold i bl.a. produktkategorier. Ud fra en brugermæssig betragtning kan det være meget fornuftigt, men det kan til gengæld give nogle udfordringer i forhold til SEO og Duplicate Content.
Udfordringen opstår, hvis filtreringen eller sorteringen i kategorien fører til en ny unik URL, der så i princippet kan indekseres, men jo grundlæggende set indeholder det samme. I hvert fald vil både overskrift, TITLE, META-description og teksten i din kategori som regel være den samme – og optimeret til de samme keywords.
Lad os som et godt eksempel se på websitet Bonaparte.dk. her med siden T-shirts til herrer.
Lige over produktvisningen kan man vælge mellem en række filtre – blandt anden for, hvilken man ønsker.
Hvis du f.eks. vælger ”small” filtreres indholdet, men samtidig ændres URL’en til:
Læg specielt mærke til den sidste del ”?size=S”. Det fortæller systemet, at det kun er de mindste størrelser, der skal vises. Smart nok.
Men denne URL er en ny URL, der så i princippet kunne indekseres i søgemaskinerne og dermed risikere at blive fanget i Googles Duplicate Content filtre.
Bonaparte har dog løst denne med CANONICAL-tags. Hvis du ser i koden på siden, vil du se, at der er indsat følgende i toppen af siden:
<link rel="canonical" href="https://www.bonaparteshop.com/da-dk/herretoej/herre-tshirts">
En anden teknisk løsning at lave filtrering eller sortering uden at URL’en ændrer sig. Den løsning har f.eks. webshoppen Smartkidz.dk valgt.
Hvis du f.eks. ser på deres kategori med jakker, kan man også her vælge mellem forskellige filtre, men uanset hvad du vælger, forbliver URL’en den samme.
Ulempen ved denne løsning er, at man ikke kan linke direkte til en bestemt filtrering. Hvis en besøgende f.eks. har fundet nogle jakker i den rigtige størrelse eller farve og vil dele det med vennerne på Facebook, eller sende linket til en ven, så kan de ikke det. Linket går til den u-filtrerede version af siden.
Hvilken løsning du foretrækker, eller som er teknisk mulig for lige dit website, må du snakke med dine udviklere om. Uanset hvad du ender med, er det bare vigtigt, at søgemaskinerne aldrig må få adgang til at indeksere mere end en enkelt unik URL, der viser samme indhold.
Produktvarianter
Hvis dine produkter findes i flere varianter, kan det give nogle udfordringer med Duplicate Content.
Lad os se på et eksempel:
På Stylepit.dk findes mange af deres produkter i flere varianter. Her er det som et eksempel en side med underbukser.
Når du klikker på en produktvariant, indlæses en ny URL. Fordel ved det er, at folk kan linke direkte til den ønskede pågældende produktvariant, bookmarke den og f.eks. tilføje linket til en gaveliste.
Hvis vi f.eks. vælger den første variant, er URL’en:
Læg mærke til den sidste del af URL ”1005” – i den første variant var den del af URL’en ”2117”. Så det er to unikke URL’er.
Men bortset fra billedet, og en meget lille tekst under produktnavnet, der skifter fra ”Rød & Blå” til ”sort m. rød”, så er alt det øvrige indhold på siden det samme. Samme overskrift og produktinformationer. Den første del af TITLE er også den samme – der tilføjes blot produktvarianten til sidst.
Siden mangler måske også lidt mere produkttekst – men det er en anden historie, og i alle fald den ville sikkert forblive den samme på de forskellige varianter.
Det er ikke så underligt. Det er jo i bund og grund de samme underbukser, bare i forskellige farver, så ud over at det ville være lidt ulogisk at skrive helt unikke tekster til hvert af produktvarianterne, ville det naturligvis også være et urealistisk stort arbejde.
Så i forhold til søgemaskinerne, er varianterne duplikeret indhold og Stylepit risikerer derfor at en eller flere af dem vil blive filtreret fra – i værste fald dem alle sammen.
At de har justeret lidt på teksten under overskriften og meget lidt i TITLE, er måske et udtryk for, at de har forsøgt at gøre siderne unikke. Det er bare min erfaring, at det ikke er nok til at undgå Duplicate Content filtrering.
Stylepit har implementeret CANONICAL-tags, men de har lavet den samme fejl, som de fleste webshops desværre laver – de har ikke valgt en kanonisk version, som de ønsker indekseret. De har derimod ladet CANONICAL-tagget pege på sig selv for alle 4 varianters vedkommende. På den første af de to eksempler ovenfor ser CANONICAL-taget således ud:
Og på den anden variant ser det således ud:
<link rel="canonical" href="https://www.stylepit.dk/polo-ralph-lauren-sort-m-rod-boxer-brief-3-pack-b-338776-1005" />
Læg mærke til, at de to CANONICAL-tags matcher hver deres URL – de peger ikke på en “kanonisk” version. Det samme gælder de to sidste varianter.
Så resultatet er, at denne implementering af CANONICAL-tags ikke afhjælper problemet med produktvarianterne i forhold til SEO og Duplicate Content filtrering.
På samme måde som med filtrering og sortering, som vi snakkede om i forrige afsnit, er der i princippet to løsninger:
- Enten kan du implementere CANONICAL-tags på den rigtige måde – hvor du vælger en version, du lader indeksere, og så peger CANONICAL-tags på varianterne til denne – kanoniske side.
- Du kan også skifte mellem produktvarianter, uden at URL’en ændrer sig. På den måde er der kun en URL, der kan indekseres og derfor ingen risiko for Duplicate Content filtrering. Det er således en meget sikker løsning.
Problemet er bare, at man heller ikke kan linke til bestemte varianter. Og det er langt fra alle webshopsystemer, hvor den løsning kan lade sig gøre.
Uanset hvilken løsning du vælger, er det vigtigt, at du håndterer produktvarianter, så du undgår Duplicate Content.
Mange andre tekniske DC-problemer
Ovenstående er blot nogle få eksempler på nogle af de mest udbredte problemer med DC. I praksis findes der mange flere.
Så du kan ikke nøjes med at tjekke ovenstående. Du kan have andre, og lige så alvorlige fejl. Men jeg håber trods alt, at det har givet dig en vis forståelse for typen af problemer du kan have.
Opret bruger