Hjælp til salg (Ikke internet)

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Jesper Jørgensen — Fri, 26 Feb 2010 21:33:12 GMT

Det med den ene procent tog jeg ud af luften. Det jeg mener er at rigtigt mange kører på et CMS / Shopsystem, hvor det vil være problematisk at lave en "catch all" løsning. Kontakter man en kyndig SEO om at få udarbejdet sådan en løsning vil de fleste med fordel kunne køre sådan en løsning.

Thomas (VJ): Hvis du har udelukket http://www.domain.dk/kaffemaskine.html?size=10 via robots.txt, så fortæller du faktisk søgemaskinen at den slet ikke må kigge på siden. Dette vil sige at de IKKE kan se det rel="canonical" tag du har lagt på siden, og det dermed er effektløst.

Umiddelbart vil jeg mene at det er bedre for dig, at fjerne eksluderingen via robots.txt, så Google kan udnytte dit canonical-tag. Skulle der så opstå problemer med det, må du genoverveje strategien som Mikkel er inde på.

Mvh Jesper Jørgensen

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Mikkel deMib Svendsen — Fri, 26 Feb 2010 18:07:29 GMT

ThomasVJ, de to ting har forskellige funktioner: Robots.txt udelukker indeksering - cannonical tagget er en form for "redirect" til søgemaskinerne (når det altså virker, hvilket det IKKE altid gør, så hold GODT øje med det og FJERN det hvis du oplever problemer!!)

Jeg vil dog godt mene, at du kan bruge min "catch all" løsning - Jespers vurdering af, at det kun er 1% af alle sites der kan bruge det er ikke korrekt, og løsningen vil i de fleste tilfælde være bedre - eller alternativt, en løsning hvor der ikke skabes al den DC (f.eks. at køre produktvarianter i klient-laget med AJAX eller DHTML).

Fantomaster sagde næsten ordret det samme som Thomas R siger ovenfor på en session jeg havde i London i sidste uege om netop DC: "If you don't want DC - don't create it". Lappeløsninger bliver aldrig andet end netop lappeløsninger - og når lappen svigter så svir det :)

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

ThomasVJ — Fri, 26 Feb 2010 16:16:12 GMT

Jeg har fået den opfattelse at man skal snakke så entydigt som muligt med googlebot og dens venner men nu kommer jeg lidt i tvivl om jeg bruger for mange livremme og seler ved både at benytte canonical URL og blokere for Magentos filtre med robots.txt. Det kan illustreres således:

Kategorien har følgende URL: http://www.domain.dk/kaffemaskine.html (canonical)

Filtreret kan kategorien have følgende følgende URL: http://www.domain.dk/kaffemaskine.html?size=10 men har samme canonical URL som den ufiltrerede kategori: http://www.domain.dk/kaffemaskine.html

/*?size= er blokeret med et disallow i robots.txt. Er det generelt for voldsomt i forhold til DC med denne blokering i robots.txt når kategorisiden også har et canonical tag?

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Jesper Jørgensen — Fri, 26 Feb 2010 14:28:06 GMT

Hej Thomas

Pointen er at du skrev at det er bedst at: "bygge et system hvor det (DC) ikke er muligt". JEG ved at det er næsten umuligt at lave sådan et system. Mikkels "Catch All" model vil kunne gøre det, men han erkender selv at det ikke er problemløst, og for 99 ud af 100 vil det ikke være et realistisk alternativ. Mit "væddemål" var derfor mere et middel til at komme frem tiol en erkendelse af at"et system hvor det (DC) ikke er muligt", i praksis ikke eksisterer.

Men lad os lige rulle filmen tilbage en gang. Vi befinder os i en tråd hvor der diskuteres hvordan DC undgås i Magento, med en robots.txt fil. Jeg skriver at det er bedre slet IKKE at linke til DC (underforstået end at linke til det og derefter eksludere fra indeksering via robots.txt). I betragtning af den kontekst er det et rigtigt godt råd, men skal der absolut gå flueknepper iden, så ja, så kan der ikke argumenteres mod det optimale mod et system der både sikrer at der ikke linkes internt til DC OG i videst muligt omfang håndterer uønskede url'er med 301 redirects eller lignende.

Men har man et system der linker internt til DC, og man derfor er nødt til at eksludere det via robots.txt, så vil man være bedre stedt ved slet IKKE at linke til det. Så kan man for min skyld bruge sin kreativitet til at gætte på hvad søgemaskiner og bloggere kan finde på at linke til at DC, og så udelukke DET indhold fra indeksering.

Jeg vil lade andre vurdere om det gør Thomas og jeg enige eller uenige, men jeg håber at alle har en forståelse for problemerne med "link dilution" hvis man linker til DC (uanset om det er eksluderet fra indeksering eller ej), samt det problematiske i at al linkværdi fra blog-links til fx domæne.dk/kaffemaskiner.html?sortorder=size går tabt, fordi Google ikke må crawle den pågælde side hvis den er udelukket via robots.txt.

robots.txt og NOINDEX-tags er absolutte nødløsninger i forhold til at reducere DC.

/manden med vandlåsen

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Mikkel deMib Svendsen — Fri, 26 Feb 2010 01:36:05 GMT

Jeg må give Thomas ret.

Dertil kan jeg tilføje, at det snart er længe siden, jeg første gang forklarede om en type "catch all" løsning, man kan lave på websites, som ikke alene fjerner al DC, men som også sikrer mod "ondskabsfulde fake URLs".

I princippet er det meget enkelt:

1) Der implementeres et script, der kaldes på alle sider

2) Scriptet slår op i databasen hvilken URL den kalde side officielt hører til på

3) Herefter tjekkes der, hvilken URL - case sensitiv, med alle parametre osv, siden faktisk ER kaldt på

4) Hvis ikke 2 og 3 matcher 301 redirectes der til 2

I princippet er det enkelt. Men dels kræver det naturligvis adgang til at kunne den slags med den publiceringsplatform man bruger og dels er der en række konflikter i metoden, som man skal sørge for at håndtere - hvis de er aktuelle.

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Thomas Rosenstand — Fri, 26 Feb 2010 01:23:05 GMT

Undskyld Jesper - men jeg kan kun se to forklaringer:

Du forstår ikke, hvad jeg skriver
Du vil bare være på tværs

Jeg antager, der er tale om nr. 1. Jeg reagerede på, at du skrev, at den bedste måde at undgå DC på er at undlade at linke til det. Så dermed siger du, at hvis du f.eks har et site, der svarer på både domæne.dk og domæne.dk/index.html, er det godt nok at undlade at linke til /index.html - og så er den ged barberet. Og det er altså stadig vrøvl. En anden (i ond mening f.eks.) kan jo aligevel linke udefra til /index.html - og der må jeg indrømme, at mine evner slet ikke står mål med dine, for det ville jeg ikke kunne forhindre - men det kan du åbenbart. Sejt nok.

Det bedste er at sikre så meget, det er teknisk muligt mod at DC kan opstå - og styre resten med 301 eller i sidste ende med robots.txt

Jeg kan ikke forstå dine indgangsvinkler. Hvorfor er det, vi skal vædde og jeg skal vise dig et site, hvor du ikke kan fremprovokere DC? Hvad skulle der opnås med det?

Den bedste måde at undgå en ildebrand er ikke ved at undlade at opdage den - men ved at brandsikre. Det er nu engang sådan, jeg rådgiver mine kunder - og du rådgiver så anderledes. Fint med det.

For klarhedens skyld: Nej - det smarteste er at undgå at linke til f.eks. ?sortorder=size. Nogle shops forsøger at løse netop den problemstilling med en nofollow - men det er jo værdiløst i samme øjeblik, en kunde i en shop begejstres over den URL og blogger om den. Så nej - jeg fastholder, at den bedste løsning mod DC er at undgå at skabe det.

Jeg synes, jeg har fået svar på, om vandlåsen har været i brug - så lad os undgå yderligere hijacking af tråden.

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Jesper Jørgensen — Thu, 25 Feb 2010 20:39:23 GMT

Hej Thomas

Jeg håber du tager mod en udfordring. Jeg sætter nendeståend Santoku i 3 lags lamineret stål (værdi 599,-) på højkant, hvis du kan sende mig et link til et site du har optimeret på, og hvor jeg IKKE kan linke til en URL der forårsager indekserbart DC. Jeg kan godt lide god vin hvis du selv vil sætte noget på højkant.

Jeg kan ikke se af dit indlæg, om du mener at det er OK (optimalt) at linke til DC, (fx ?sortorder=size) så længe det ikke kan indekseres. Hvis det er tilfældet, er vi lodret uenige. Den "link dilution" man giver køb på, vil for langt de fleste være at langt større problem, end hvis nogen skulle få lavet et eksternt link til en DC side.

Udelukker man sider med robots,txt så mister man også den PageRank man ellers ville have fået når nogen linker til en DC side. Hvis det endelig er så hellere bruge NOINDEX, FOLLOW (dette viderefører PageRank) på siderne, eller rel="canonical".

/Jesper

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Thomas Rosenstand — Thu, 25 Feb 2010 03:17:01 GMT

Jamen Jesper... Du skriver, at den bedste måde at undgå DC er ved at lade være med at linke til det. Det er da noget sludder - jeg kan ikke sige det pænere. Den bedste måde er at undgå, at det opstår - og det ved at bygge systemet, så det ikke er muligt.

Da du ikke er alene på internettet, kan du jo ikke kontrollere, om andre linker til det, der er DC på dit site - og derfor er du nødt til at sikre dig, at du enten har et system, der ikke KAN generere DC - eller at det ikke kan indekseres - eller at der 301 redirectes fra det til den canonicale URL.

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Jesper Jørgensen — Wed, 24 Feb 2010 19:53:04 GMT

Thomas Rosenstand:

Jesper Jørgensen:
Den bedste måde at undgå DC på er ved ikke at linke til det.

Jesper - har du røget af vandlåsen? Er du sikker på, du mener det svar?

Hej Thomas

Hvad anbefaler du da i stedet? Hvis man linker til duplicate content og derefter udelukker det fra indeksering med robots.txt, så sender man PageRank / linkjuice til sider som aldrig kan findes i søgemaskinerne. Kun ved at undlade at linke til DC kan man undgå at spilde PageRank (undtaget hvis man bruger rel="canonical" tagget)

Robots.txt bør kun være en nødløsning til at fjerne DC.

Mvh Jesper

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Mikkel Rasmussen — Tue, 23 Feb 2010 16:43:06 GMT

Tak for de mange svar!

Jeg har nu fået fornemmelsen at robots.txt er farlig/svær/unødvendig indikator hvad angår DC for magento.

Tippet omkring rene URL'er er skrevet bag øret....

Mvh/ Mikkel

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Thomas Rosenstand — Tue, 23 Feb 2010 15:21:58 GMT

ThomasVJ:

Du bør også være opmærksom på at Magentos filtrede navigation kan generere DC.

Bruger du eksempelvist size og brand som filtrering kan du flette følgende ind i din robots.txt:

User-Agent: Googlebot
Disallow: /*?size=
Disallow: /*?brand=

User-Agent: msnbot
Disallow: /*?size=
Disallow: /*?brand=

User-Agent: Slurp
Disallow: /*?size=
Disallow: /*?brand=

Jeg er ikke helt sikker på om det er nødvendigt at flette det ind per agent (googlebot, msnbot, Slurp osv). Det må nogle af de skrappe SEO drenge kunne svare dig på.

Brug blot User-Agent: *

Det er unødvendigt at lave det pr. robot.

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

ThomasVJ — Tue, 23 Feb 2010 14:43:36 GMT

Du bør også være opmærksom på at Magentos filtrede navigation kan generere DC.

Bruger du eksempelvist size og brand som filtrering kan du flette følgende ind i din robots.txt:

User-Agent: Googlebot
Disallow: /*?size=
Disallow: /*?brand=

User-Agent: msnbot
Disallow: /*?size=
Disallow: /*?brand=

User-Agent: Slurp
Disallow: /*?size=
Disallow: /*?brand=

Jeg er ikke helt sikker på om det er nødvendigt at flette det ind per agent (googlebot, msnbot, Slurp osv). Det må nogle af de skrappe SEO drenge kunne svare dig på.

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Mikael christiansen — Tue, 23 Feb 2010 11:06:02 GMT

Her er et par tråd jeg synes der forklare dit problem noget , jeg forstod ikke meget af de besvarelser der er givet søgte derfor på amino.dk mente , om der var nogle bedre forklaringer , jeg synes disse her er bedre

http://www.amino.dk/forums/p/57044/364791.aspx http://www.amino.dk/forums/p/81824/523785.aspx

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Powerhosting — Tue, 23 Feb 2010 09:25:31 GMT

I forlængelse af det Frank skriver, er her lidt info til hvordan man undgår kategorierne i URL´en

Blot til info.

Svar: Magento Duplicate Content - er dette en god måde at løse problemet på?

Frank Hellerup Madsen — Tue, 23 Feb 2010 08:44:46 GMT

Den bedste måde at bekæmpe duplicate content på, er ved at generere så lidt som muligt af det. Det lyder banalt, men i Magentos tilfælde, kan det f.eks. gøres ved at være opmærksom på URL-strukturen, der kan kaste en god bunke DC af sig, hvis man har varer i forskellige kategorier samtidig og bruger grupper i URL'en.

Når man er nået så langt man nu kan på den måde, vil jeg give Jesper ret så langt, at man bør vide, præcis hvad man udelukker med hver linie i sin robots.txt, så man ikke får udelukket noget, der gerne må være med.