Hjælp til salg (Ikke internet)

Svar: robot.txt

Anonymous — Thu, 15 Aug 2013 10:36:56 GMT

Rediretcs / no-index er altid en bedre løsning, da om noget skal skrives i robots.txt meget afhænger af om URL'en er indekseret i forvejen.

Husk at det vil gøre mere skade end gavn, hvis du laver disallow på noget, som allerede er indekseret. Robots fortæller nemlig Googles bot at den ikke skal crawle siden. Så hvis den allerede er indekseret, så vil robots.txt filen sørge for at Googles crawler ikke kommer forbi igen og opdager eventuelle redirects eller no-index.

Men du kan selvfølgelig sagtens skrive disallows ind i robots.txt, hvis du tager højde for at URL'erne ikke allerede er indekseret.

Svar: robot.txt

Lasse Juhl — Thu, 15 Aug 2013 10:01:28 GMT

Hej Gita

Tak for det. Det lyder som om, du kender til bedre metoder?

Svar: robot.txt

Gita Street — Thu, 15 Aug 2013 09:52:48 GMT

Det er ikke super optimalt bare at bruge robots.txt-fil til at løse Magentos problemer med duplikeret indhold.

Men nu vi er i gang, så mangler denne linje:
Disallow: /home/ men din shop svarer også på "/home", så jeg er faktisk i tvivl om om robots.txt-filen får lukket helt dér eller du skal have:
Disallow: /home

Det må komme på min liste over fremtidige tests - medmindre, der er nogen, der har et svar på det.

So du kan se har du også den her linje:
Disallow: /index.php/

Den ville jeg af samme grund ændre til:
Disallow: /index.php

Jeg tror du måske har fundet din robots-txt-fil hos nogen, der har fået sørget for at få 301 redirected "/" efter URL'erne.

Svar: robot.txt

Lasse Juhl — Wed, 14 Aug 2013 21:22:05 GMT

hermed rettet - jeg siger tak!

Svar: robot.txt

Thomas Rosenstand — Wed, 14 Aug 2013 17:46:43 GMT

Ja - du har ekskluderet din /images/ folder, og dermed får du ikke dine billeder i Googles indeks.

Svar: robot.txt

Lasse Juhl — Wed, 14 Aug 2013 12:57:03 GMT

Hej jesper

Tak for dit svar.

Jeg er godt bekendt med den side. Men Magento giver jo lidt udfordringer i og med den hurtigt kan kreere en del duplicate content. Det var i den optik jeg ville høre, om jeg har gjort noget forkert, når jeg nu engang bruger Magento.

Svar: robot.txt

Jesper Petersen — Wed, 14 Aug 2013 12:53:53 GMT

Kig på det her link

https://support.google.com/webmasters/answer/156449?hl=da

robot.txt

Lasse Juhl — Wed, 14 Aug 2013 12:41:06 GMT

Hej,

er der nogle af Jer, som er friske på at kommentere lidt på min robot.txt fil, som er tilknyttet webshoppen makalay.dk (Magento platform).

Ser frem til at høre, hvorvidt den er helt ude i skoven (:

Indholdet ses herunder:

User-agent: *
Disallow: /index.php/
Disallow: /*?
Disallow: /*.js$
Disallow: /*.css$
Disallow: /404/
Disallow: /admin/
Disallow: /api/
Disallow: /app/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalog/product_compare/
Disallow: /catalogsearch/
Disallow: /catalogsearch/result/index/
Disallow: /cgi-bin/
Disallow: /checkout/
Disallow: /contacts/
Disallow: /customer/
Disallow: /downloader/
Disallow: /install/
Disallow: /images/
Disallow: /js/
Disallow: /lib/
Disallow: /magento/
Disallow: /media/
Disallow: /newsletter/
Disallow: /pkginfo/
Disallow: /private/
Disallow: /poll/
Disallow: /report/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /skin/
Disallow: /tag/
Disallow: /var/
Disallow: /wishlist/