Udfordringer ved at fjerne Duplicate Content

Mikkel deMib Svendsen:

Nej, det er sådan set samme sag i begge situationer. Robots.txt og META-robots er ikke en standard der fortæller søgemaskinerne om de skal INDEKSERE en side, men om de skal CRAWLE den :)

I know... på det punkt modsiger jeg dig ikke.

Mikkel deMib Svendsen:

Det er så ikke altid, at søgemaskinerne vælger at beholde sider i deres indeks, som de ikke må crawle. Det afhænger bl.a. af hvor mange andre der linker til siden. Er der mange dropper de den ofte ikke. Er der ingen er det min oplevelse at der lidt oftere sker. Men du kan aldrig være sikker.

Så siger du egentlig også dér, at jeg har delvist ret i at sider bliver fjernet fra Googles indeks, omend det går meget langsomt, så sker det. Så jeg kan ikke rigtig se hvad denne diskution skulle til for. Du siger det samme som jeg. Den eneste forskel er at du har en anden oplevelse af hvor meget Google fjerner, mens at stort set hver gang jeg har testet ved kun at bruge robots.txt, har fået fjernet siderne fra googles indeks, og dermed har jeg en anden oplevelse.

Mikkel deMib Svendsen:

Hvis du vil være sikker på at de fjerner siden, skal du enten 301 redirecte den, returnere en 404 (410 hvis det skal gå hurtigere), eller ekskludere siden via webmastertools. Det sidste er det der slår igennem hurtigst, men skal så gøres side for side, eller directory for directory.

MVH Kim

Det er ganske kort tid siden, at jeg havde en endnu kunde, der måtte bruge en masse penge, bekymringer og tid på at få rettet op på nogle alvorlige problemer netop fordi hun havde fulgt "gode råd" om robots.txt magen til dine i et forum som dette. Det synes jeg er ærgeligt. Det vil jeg gerne bidrage til, at andre kan undgå.

Jeg synes derfor det er lidt ærgeligt, at du så vedholdende ønsker at fastholde nogle faktuelt forkerte fortolkninger af, hvordan disse protokoller virker. Det kan kun skade - ikke gavne. Så jeg forstår ikke helt pointen ...

Nå, men jeg håber bare, at de Aminoer, der læser denne tråd har tillid til at jeg ved hvad jeg snakker om, når jeg beskriver hvordan robots.txt og META-robots virker - og hvordan det ikke virker.

Mikkel deMib Svendsen:

Det er ganske kort tid siden, at jeg havde en endnu kunde, der måtte bruge en masse penge, bekymringer og tid på at få rettet op på nogle alvorlige problemer netop fordi hun havde fulgt "gode råd" om robots.txt magen til dine i et forum som dette. Det synes jeg er ærgeligt. Det vil jeg gerne bidrage til, at andre kan undgå.

Jeg synes derfor det er lidt ærgeligt, at du så vedholdende ønsker at fastholde nogle faktuelt forkerte fortolkninger af, hvordan disse protokoller virker. Det kan kun skade - ikke gavne. Så jeg forstår ikke helt pointen ...

Det her er mit råd, som jeg også har skrevet en del gange nu og henvist til en del gange, men det læser du jo udenom.

KTJ-Media.dk:

Men ud over det, så ville jeg selv gøre det på en helt anden måde. jeg ville ikke bruge robots.txt til at blokerer for crawling, men i stedet ville jeg lave et dynamisk script som 301 redirectede alle gamle sider, med ovenstående params til eksempelvis forsiden eller til deres respektive urls hvis sådan en fandtes. på den måde finder Google ud af at siden er flyttet og den vil også blive fjerne fra Google. og samtidig bliver eventuel værdi overført til andre sider også.

Yderligere ville jeg ikke bruge Canonical URLs som en løsningsmodel, men som et yderligere værktøj til sikring mod DC. Jeg ville først og fremmest fjerne kilden til problemet, og lave yderligere sikring på forskellige punkter.

Men ellers kan du jo bare gøre det via webmaster tools, og fjerne hver enkelt url via den. der er ikke så mange som skal fjernes som jeg ser det.

Det der så er endnu sjovere er at du let og elegant hopper over, det at jeg skriver at du er forkert på den når du siger at meta-robots er en standard der fortæller at søgemaskiner ikke må crawle siden. For det passer simpelthen ikke, både fordi Google rent logisk skal crawle siden for at kunne se meta-robots tagget og samtidig hvis du nu fx læser din egen bog, så skriver du også der at siden vil blive crawlet. Der er vidst noget som ikke helt hænger sammen her.

Thomas Rosenstand:

Det er Mikkel, der har ret her. Og hvis han har uret, har Google det også ;-)

MVH Kim