Flersproget Prestashop

Det er en fejl jeg ikke har været opmærksom på det med den engeske version - jeg har INTET at bruge det til.

Det jeg har gjort for at afhjælpe problemer er følgende:

Deaktiveret den engelske version i Presta - derved er alle /en/ ikke eksisterende.

Har lavet nyt sitemap, og har bedt google om at indeksere dette - resulterede i halvt så mange sider (fordi de engelske sider ikke skal indekseres)

Har tilføjet følgende i bunden af min robots.txt fil: "User-agent: * Disallow: /en/" Derved burde googlebot gå undenom alle /en/ sider.

Bør dette være nok til at løse problemet, eller er der andet jeg bør gøre, hvis jeg skal have hurtigst mulig positiv effekt overfor google.

Gita Street:

Kenneth Davidsen:

Bør dette være nok til at løse problemet, eller er der andet jeg bør gøre, hvis jeg skal have hurtigst mulig positiv effekt overfor google.

Det er desværre forkert at robots.txt-filen forhindrer indeksering, selvom det ville gøre SEO-arbejde langt lettere. Du kan godt forhindre indeksering på anden vis, men du kan lige så godt lave en 301 redirect til forsiden som jeg nævnte. Det er den bedste løsning, da du så beholder den smule linkjuice du har fået i forhindelse med linket i dit oplæg.  

Du kan sagtens fortælle Google hvad den ikke skal indexere, via robots.txt.

Den her opsætning forhindrer fx at Google indexerer altid på domænet

User-agent: *
Disallow: /

En specifik mappe:

User-agent: *
Disallow: /folder/

Kristoffer Broholm:

Du kan sagtens fortælle Google hvad den ikke skal indexere, via robots.txt.

  

Hvis du kigger i Googles guidelines, skriver de heller ikke at den forhindrer indeksering, men crawling:
robots.txt:
"Use it if crawling of your content is causing issues on your server. For example, you may want to disallow crawling of infinite calendar scripts. You should not use the robots.txt to block private content (use server-side authentication instead), or handle canonicalization (see our Help Center). If you must be certain that a URL is not indexed, use the robots meta tag or X-Robots-Tag HTTP header instead. "
Kilde: https://developers.google.com/webmasters/control-crawl-index/docs/faq?hl=da 

Til sidst vil jeg lige henlede til Kim Tetzlaffs blogindlæg om samme, da han er en af de absolut dygtigste til teknisk SEO, og hvis man vil lære noget der, så er han guld at følge. 
http://www.ktj-media.dk/blog/robots-txt-udbredt-misforstaaelse/
 

Kristoffer Broholm:

Nu blander du nogle ting sammen.

Disallow: /vrovl-soeg-navn.php

Kristoffer Broholm:

En sådan ændring ville tage måneder, hvis det overhovedet kan ændres.

Med de ting jeg har ændret vil de engelske sider så med tiden "ryge ud af google". Bliver lidt forvirret når jeg læser jeres svar. Når de ikke eksisterer mere vil google vel på et tidspunkt opdage det er døde links og fjerne dem eller hvad?

Kenneth Davidsen:

Med de ting jeg har ændret vil de engelske sider så med tiden "ryge ud af google". Bliver lidt forvirret når jeg læser jeres svar. Når de ikke eksisterer mere vil google vel på et tidspunkt opdage det er døde links og fjerne dem eller hvad?

Ja, men der går vildt lang tid.

Kim Tetzlaff - KTJ-Media.dk:

Kristoffer Broholm:

Nu blander du nogle ting sammen. At crawle er korrekt ikke lig med indexering, men Google skal jo nødvendigvis crawle siden mindst én gang før den kan indexeres. 

Fra google's retningslinjer;

"Crawling is the process by which Googlebot discovers new and updated pages to be added to the Google index."

Ergo, hvis ikke Googlebotten må crawle, så bliver siden heller ikke indexeret. Det er korrekt at hvis du ikke fik slået crawling fra inden at siden blev opdaget og indexeret, så kan man ikke fortryde og sætte det på retroaktivt. En sådan ændring ville tage måneder, hvis det overhovedet kan ændres.

Der tager du nu på sin vis fejl. Google kan sagtens indeksere URLs selvom urlen før, efter og under er blevet disallowed via robots.txt. Som sagt beskytter robots.txt kun mod crawling IKKE indeksering. Det er rigtigt det du siger i den forstand at indholdet ikke bliver indekseret, men URL'en bliver nu engang indekseret. Det eneste der skal til er et link.

MVH Kim

Ja okay, fair nok. Ifølge google er det scenario du har opstillet "sjældent" og hvorfor ville man linke til en URL man ikke vil have crawlet i første omgang?

Naturligvis giver det mig ikke ret, men for all intents and purposes vil et disallow i robots.txt forhindre indexering og efterfølgende serving i søgeresultater.