Seo - hvordan undgår jeg google indexere faste sider?

Hej igen

Mange tak for alle de gode svar! TAK!

Men så opstår der et nyt spørgsmål, hvordan løser jeg denne opgave nemmest i Magento, Kender ikke lige navnet på alle "faste" i Magento?

Findes der et modul eller er der et kryds jeg mangle at få sat ?

På forhånd tak!

Og endnu en tak for jeres gode svar

Gennemgang er den proces, hvor Googlebot går rundt fra website til website, finde nye og opdaterede oplysninger til at rapportere tilbage til Google.

jeg synes det var en lidt hård tone, da jeg kun forsøgte at hjælpe, jeg brugte selv robots.txt og disallow på mine hjemmesider. Jeg er nu begyndt at bruge noindex dog stadig i robots.txt, hvad er jeres feedback på dette? Skal det virkelig kodes på alle sider eller virker robots.txt fint?

Denne artikel fra seobooks skriver at googlebot forstår det, men ikke noget om de andre søgemaskine bots: http://tools.seobook.com/robots-txt/

Thomas Frost:

I mange tilfælde vil robots.txt rent faktisk virke efter hensigten, men problemet er at det ikke er en garanti. Bruger man derimod det korrekte "NoIndex" så kan man være sikker på Google ikke indekserer en given side.

Det er så heller ikke helt korrekt :-)

Robots.txt virker langt oftere efter hensigten end META-data generelt gør. 

Hensigten med robots.txt er, som du også selv påpeger, ikke at forhindre indeksering, men derimod at styre hvilke filer og kataloger robotter ikke skal have adgang til at crawle. Og det virker. I hvert fald i forhold til de robotter, der respekterer robots.txt, hvilket Google og alle andre større søgemaskiner gør. Robots.txt er en langt mere solid og driftssikker metode end META-data.

Problemet med META-data er, at det skal læses og fortolkes på hver enkel side for at virke. Der er mange ting der kan gå galt. Og det sker desværre tit. Dette gælder langt fra blot i forhold til META-robots data.

Med robots.txt kan du styre hvor søgemaskinernes crawling resurser skal bruges. Har du et stort site, med en masse sider du ikke vil have med i søgemaskinerne, risikerer du, at søgemaskinerne spilder tid på at crawle indhold, du alligevel ikke vil have med, og ikke får tid til at crawle det du faktisk gerne vil have med, hvis du i stedet for benytter META-data. 

HUSK også, at de to standarder ikke kan bruges på samme tid for de samme sider. Hvis du udelukker en side fra crawling kan META-data jo ikke læses. 

Så, det er desværre langt fra så enkelt som man skulle tro  :-)

Interessant diskussion blandt nogle af de mest teknisk kompetente indenfor SEO jeg kender til . 

Hvis jeg laver en ny installation af WordPress og selvfølgelig vælger at den helst ikke skal findes i søgemaskine - før jeg er klar, så laver WordPress en virtuel robots.txt fil med en disallow: *.

Denne gør at "noindex" bliver ignoreret.

Det har jeg set flere gange. Her er mit nyeste eksempel. Google indekserer så denne ligegyldighed:


Det er så nok ikke Duplicate Content, da den kun har indekseret ligegyldige title tags og ikke indholdet - og jeg vil endda mene at den ignorerer et 301 redirect her.

For en ny installation af WordPress, så sørger jeg for at override den virtuelle robots.txt-fil, så den enten er tom, tillader alt eller er slettet. Så overholder Google (indtil videre) den noindex. I hvert fald for nye installationer.