At droppe robots.txt filen helt er måske ikke det optmale. :)
En af de mest anerkendte SEO plugin forfattere skriver om robots.txt på sin blog:
Nu mente jeg at droppe den mht den søgeting med hensyn til det der blev spurgt til, og ikke anvendelse af et upålideligt WordPress plugin.
Men bortset fra det, så har jeg tidligere brugt .htaccess-filen til at sætte X-Robots Header Tag til "noindex" på WordPress mapper, som Yoast også selv. Har dog droppet dem igen da jeg ikke har haft sites, der får plugins indekseret, men vil da holde øje med hvis jeg bruger nye plugins.
Det blog-indlæg Yoast har skrevet er i 2012.
robots.txt Disallow blokerer heller ikke for indeksering,men for crawling, så hvis plugin-udvikleren selv har sat noindex ind rigtigt, risikerer det alligevel at blive indekseret - netop fordi Google bliver bedt om ikke at crawle og de dermed ikke når så langt til at de ser "noindex".
WordPress Plugins bruger desuden tit CSS og JavaScript - og lige det med at bede dem om ikke at crawle den slags har Google ganske kort tid siden meldt ud er imod deres Guidelines:
"Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings."(Kilde: http://googlewebmastercentral.blogspot.dk/2014/10/updating-our-technical-webmaster.html)
Der er også en yderligere diskussion om det her.
Bliv gratis medlem
Opret bruger
