robot.txt

Fra København

Tilmeldt 16. Jul 13

Indlæg ialt: 94

Lasse Juhl Fra Storebuddy.dk Skrevet 14-08-2013 kl. 14:41

Hvor mange stjerner giver du? :

Hej,

er der nogle af Jer, som er friske på at kommentere lidt på min robot.txt fil, som er tilknyttet webshoppen makalay.dk (Magento platform).

Ser frem til at høre, hvorvidt den er helt ude i skoven (:

Indholdet ses herunder:

User-agent: *
Disallow: /index.php/
Disallow: /*?
Disallow: /*.js$
Disallow: /*.css$
Disallow: /404/
Disallow: /admin/
Disallow: /api/
Disallow: /app/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalog/product_compare/
Disallow: /catalogsearch/
Disallow: /catalogsearch/result/index/
Disallow: /cgi-bin/
Disallow: /checkout/
Disallow: /contacts/
Disallow: /customer/
Disallow: /downloader/
Disallow: /install/
Disallow: /images/
Disallow: /js/
Disallow: /lib/
Disallow: /magento/
Disallow: /media/
Disallow: /newsletter/
Disallow: /pkginfo/
Disallow: /private/
Disallow: /poll/
Disallow: /report/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /skin/
Disallow: /tag/
Disallow: /var/
Disallow: /wishlist/

Fra Allerød

Tilmeldt 27. Dec 11

Indlæg ialt: 797

Jesper Petersen Fra Ordklar.dk Skrevet 14-08-2013 kl. 14:53

Hvor mange stjerner giver du? :

Kig på det her link

https://support.google.com/webmasters/answer/156449?hl=da

Fra København

Tilmeldt 16. Jul 13

Indlæg ialt: 94

Lasse Juhl Fra Storebuddy.dk Skrevet 14-08-2013 kl. 14:57

Hvor mange stjerner giver du? :

Hej jesper

Tak for dit svar.

Jeg er godt bekendt med den side. Men Magento giver jo lidt udfordringer i og med den hurtigt kan kreere en del duplicate content. Det var i den optik jeg ville høre, om jeg har gjort noget forkert, når jeg nu engang bruger Magento.

Fra Pompano Beach, Florida, USA

Tilmeldt 19. Apr 06

Indlæg ialt: 3762

Thomas Rosenstand Fra Concept Interest TCON Services LLC Skrevet 14-08-2013 kl. 19:46

Hvor mange stjerner giver du? :

Gennemsnit 5,0 stjerner givet af 1 person

Ja - du har ekskluderet din /images/ folder, og dermed får du ikke dine billeder i Googles indeks.

Fra København

Tilmeldt 16. Jul 13

Indlæg ialt: 94

Lasse Juhl Fra Storebuddy.dk Skrevet 14-08-2013 kl. 23:22

Hvor mange stjerner giver du? :

hermed rettet - jeg siger tak!

Tilmeldt 21. Sep 06

Indlæg ialt: 2606

Gita Street Fra StreetPatrol.com StreetPatrol.dk Skrevet 15-08-2013 kl. 11:52

Hvor mange stjerner giver du? :

Det er ikke super optimalt bare at bruge robots.txt-fil til at løse Magentos problemer med duplikeret indhold.

Men nu vi er i gang, så mangler denne linje:
Disallow: /home/ men din shop svarer også på "/home", så jeg er faktisk i tvivl om om robots.txt-filen får lukket helt dér eller du skal have:
Disallow: /home

Det må komme på min liste over fremtidige tests - medmindre, der er nogen, der har et svar på det.

So du kan se har du også den her linje:
Disallow: /index.php/

Den ville jeg af samme grund ændre til:
Disallow: /index.php

Jeg tror du måske har fundet din robots-txt-fil hos nogen, der har fået sørget for at få 301 redirected "/" efter URL'erne.

Sparetips på Sparefeber.dk

Fra København

Tilmeldt 16. Jul 13

Indlæg ialt: 94

Lasse Juhl Fra Storebuddy.dk Skrevet 15-08-2013 kl. 12:01

Hvor mange stjerner giver du? :

Hej Gita

Tak for det. Det lyder som om, du kender til bedre metoder?

Tilmeldt 20. Apr 07

Indlæg ialt: 16014

Slettet bruger Skrevet 15-08-2013 kl. 12:36

Hvor mange stjerner giver du? :

Rediretcs / no-index er altid en bedre løsning, da om noget skal skrives i robots.txt meget afhænger af om URL'en er indekseret i forvejen.

Husk at det vil gøre mere skade end gavn, hvis du laver disallow på noget, som allerede er indekseret. Robots fortæller nemlig Googles bot at den ikke skal crawle siden. Så hvis den allerede er indekseret, så vil robots.txt filen sørge for at Googles crawler ikke kommer forbi igen og opdager eventuelle redirects eller no-index.

Men du kan selvfølgelig sagtens skrive disallows ind i robots.txt, hvis du tager højde for at URL'erne ikke allerede er indekseret.