Hjælp til salg (Ikke internet)

Svar: Et hurtigt robots.txt spørgsmål ! :)

Gita Street — Sun, 07 Dec 2014 22:11:45 GMT

John Nielsen:

At droppe robots.txt filen helt er måske ikke det optmale. :)

En af de mest anerkendte SEO plugin forfattere skriver om robots.txt på sin blog:

Nu mente jeg at droppe den mht den søgeting med hensyn til det der blev spurgt til, og ikke anvendelse af et upålideligt WordPress plugin.

Men bortset fra det, så har jeg tidligere brugt .htaccess-filen til at sætte X-Robots Header Tag til "noindex" på WordPress mapper, som Yoast også selv. Har dog droppet dem igen da jeg ikke har haft sites, der får plugins indekseret, men vil da holde øje med hvis jeg bruger nye plugins.

Det blog-indlæg Yoast har skrevet er i 2012.

robots.txt Disallow blokerer heller ikke for indeksering,men for crawling, så hvis plugin-udvikleren selv har sat noindex ind rigtigt, risikerer det alligevel at blive indekseret - netop fordi Google bliver bedt om ikke at crawle og de dermed ikke når så langt til at de ser "noindex".

WordPress Plugins bruger desuden tit CSS og JavaScript - og lige det med at bede dem om ikke at crawle den slags har Google ganske kort tid siden meldt ud er imod deres Guidelines:

"Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings."(Kilde: http://googlewebmastercentral.blogspot.dk/2014/10/updating-our-technical-webmaster.html)

Der er også en yderligere diskussion om det her.

Svar: Et hurtigt robots.txt spørgsmål ! :)

John Nielsen — Sun, 07 Dec 2014 20:59:59 GMT

Gita Street:
Google efter hvordan du bruger "noindex,follow" og drop robots.txt-filen.

At droppe robots.txt filen helt er måske ikke det optmale. :)

En af de mest anerkendte SEO plugin forfattere skriver om robots.txt på sin blog:

https://yoast.com/example-robots-txt-wordpress/

og benytter det i øvrigt selv.

Blandt andet til at blokere indeksering af plugins i WordPress, så man undgår risikoen for indeksering af eksempelvis index.php filer fra plugin-forfatterne, hvor de lige skal have linket til deres egne sites.

Svar: Et hurtigt robots.txt spørgsmål ! :)

Tom Frank Christensen — Sat, 06 Dec 2014 07:28:06 GMT

Er enig med dig Gita

Jeg forholdte mig til Robots.txt spørgsmålet - ikke logikken, det beklager jeg :)

Svar: Et hurtigt robots.txt spørgsmål ! :)

Gita Street — Fri, 05 Dec 2014 19:16:48 GMT

Google efter hvordan du bruger "noindex,follow" og drop robots.txt-filen.

Svar: Et hurtigt robots.txt spørgsmål ! :)

Tom Frank Christensen — Fri, 05 Dec 2014 13:37:35 GMT

Disallow: /*search

blokerer f.eks https://www.modified.dk/fis.search.php?fis=1

https://www.dropbox.com/s/mntyqz0dt6mbx0l/disallow.png?dl=0

Iflg. Webmaster tools vil den virke

Svar: Et hurtigt robots.txt spørgsmål ! :)

Claus B. — Fri, 05 Dec 2014 13:30:44 GMT

okay så jeg bruger: disallow: /*search som tager alle i steder i URL der står "search"

Hvis søge-siderne allerede er indexeret bør jeg så bruge:

noindex: /*search i stedet?

Svar: Et hurtigt robots.txt spørgsmål ! :)

Tom Frank Christensen — Fri, 05 Dec 2014 13:02:52 GMT

Nej

Disallow: /search*

blokerer alle URL der starter med /search, f.eks. /search.php?fis=1 men den disallower ikke /web-search.php?fis=2

* er wildcard

Svar: Et hurtigt robots.txt spørgsmål ! :)

Claus B. — Fri, 05 Dec 2014 12:45:37 GMT

Tak for svaret ! :)

Nu har jeg læst indlægget.

Ser ud som om man skal skrive:

Disallow: /search*

Herved disallower man alle URL's hvor ordet "search" indgår hvor ordet indgår i URL'en.

Jeg kan ikke rigtige finde noget om det du henviser til "Disallow: /*search*"

Hvad er forskellen? :)

//Claus

Svar: Et hurtigt robots.txt spørgsmål ! :)

Tom Frank Christensen — Fri, 05 Dec 2014 12:34:03 GMT

Hej Claus

Læs lige denne - svaret med 5 pil op: http://stackoverflow.com/questions/6859399/block-google-robots-for-urls-containing-a-certain-word

Du skal lige teste i din webmaster tools om du rent faktisk får det blokeret korrekt.

Disallow: /*search*

ville jeg mene

Et hurtigt robots.txt spørgsmål ! :)

Claus B. — Fri, 05 Dec 2014 12:31:20 GMT

Hej alle !

Hvis jeg skal blokere alle URL's der feks har order "search" i url'en, hvad skal jeg så skrive?

Eksempel:

http://www.hjemmeside.dk/index.php?route=product/search&filter_name=search

Noindex: *search

Noindex: search*

Disallow: *search

Disallow: search*

eller noget helt tredje?

Håber i vil hjælpe mig ! :)

//Claus