Søgemaskineoptimering (SEO) hjælp & gode råd

Svar: Robots.txt

JDA Trading ApS — Wed, 13 May 2009 11:22:09 GMT

Ja det virkerligt molbo-agtigt...

Men lader det være sådan som det er nu: http://www.sexbutik.dk/robots.txt

Og er spændt på om jeg slipper af med de popup varer ved hjælp af: Disallow: /*-pi-

Takker for hjælpen og responsen...

Svar: Robots.txt

CoolLinks — Wed, 13 May 2009 11:11:11 GMT

Jeg kan ikke se noget forkert i det du har gjort.

Men principielt set er der ca. dobbelt så meget kode som nødvendigt.

Svar: Robots.txt

JDA Trading ApS — Wed, 13 May 2009 10:49:22 GMT

Bliver nart helt rundtosset... .-)

Men er der noget forkert i at gøre som jeg har gjort ?

http://op.dk/google-ignorere-generelle-indstillinger-i-robotstxt.html

Da Googles søgerobot understøtter brugen af wildcards, så kan man i sin robots.txt fil sætte den op til, at den skal ignorere alle de URL’er der ender med printfriendly=true, fx sådan her:

User-agent: googlebot Disallow: /*printfriendly=true
User-agent: * Disallow: /pdf/

Læg mærke til at der ovenfor ikke står Disallow: /pdf/ for googlebot. Det var ikke nødvendigt tidligere, for googlebot ville både læse de instillinger der var for alle søgemaskiner og de indstillinger der kun gælder for googlebot.

Men sådan er det ikke mere:

googlebot læser kun indstillingerne for alle søgemaskiner i robots.txt, såfremt der ingen specifikke indstillinger er for googlebot
hvis der er specifikke indstillinger er for googlebot i robots.txt, så ignoreres alle andre indstillinger, også dem der er generelle og gælder for alle søgemaskiner.

Derfor vil ovennævnte robots.txt fil fremover skulle se således ud:
User-agent: googlebot Disallow: /*printfriendly=true Disallow: /pdf/
User-agent: * Disallow: /pdf/

Svar: Robots.txt

CoolLinks — Wed, 13 May 2009 10:43:04 GMT

Hvorfor ikke blot nøjes med:

User-agent: *
Disallow: /xyz/
osv.

Med henvisning til Googles udsagn:

An entry that applies to all bots looks like this:
User-agent: *

Svar: Robots.txt

JDA Trading ApS — Wed, 13 May 2009 10:25:11 GMT

Ja,lige nøjagtigt... hvilket jeg ikke var klar over :-)

Så derfor må min ændring siden min første post i denne her tråd være korrekt.

Med lidt dobbelt konfekt i forhold til to identisk lister

User-agent: *

User-agent: Googleboot

Svar: Robots.txt

CoolLinks — Wed, 13 May 2009 10:18:01 GMT

På Google's side om robots.txt fremgår det ikke at de ikke understøttet User-agent: *

Tværtimod er der eksempler på hvordan det kan anvendes.

http://www.google.com/support/webmasters/bin/answer.py?answer=40360

Svar: Robots.txt

JDA Trading ApS — Wed, 13 May 2009 10:06:54 GMT

Ja jeg tror det er rigtigt, og det er også primært google der er problemet.

Og tror heller ikke andre robotter understøtter denne kode ?

Men mens jeg har læst og læst har jeg så lavet både en til googleot og til alle andre. Da jeg læste mig frem til at googlebot ikke læser User-agent: *

User-agent: *
Disallow: /mini_admin/
Disallow: /images/
Disallow: /multi/admin/
Disallow: /multi/images/
Disallow: /awstats/
Disallow: /account.php
Disallow: /checkout_shipping.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_success.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /shopping_cart.php
Disallow: /popup_image.php
Disallow: /product_reviews_write.php
Disallow: /*-pi-

User-agent: Googlebot
Disallow: /mini_admin/
Disallow: /images/
Disallow: /multi/admin/
Disallow: /multi/images/
Disallow: /awstats/
Disallow: /account.php
Disallow: /checkout_shipping.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_success.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /shopping_cart.php
Disallow: /popup_image.php
Disallow: /product_reviews_write.php
Disallow: /*-pi-

Svar: Robots.txt

CoolLinks — Wed, 13 May 2009 10:01:07 GMT

Det ser ud til at du har gjort det rigtigt - i det mindste i forhold til Googlebot.

Fandt følgende:

Pattern matching
Googlebot (but not all search engines) respects some pattern matching.

To specify matching the end of a URL, use $. For instance, to block any URLs that end with .xls:

User-agent: Googlebot
Disallow: /*.xls$

http://www.google.com/support/webmasters/bin/answer.py?answer=40360

Svar: Robots.txt

JDA Trading ApS — Wed, 13 May 2009 09:49:13 GMT

Ja, det er næsten korrekt...

Men skal ikke ende på det, men være midt i en url, f.eks. www.6-butik.dk/porn_vixens_23-pi-4414.html

Som er nogen url´er jeg har pludseligt har fået indekseret. Problemet er hvis du klikker på linket, at den popper op og ændrer browser størrelsen, hvilket jo er ret irriterende.

Men så vidt jeg har læst mig til skal det ende på $, hvis det er alle med samme ndelse der skal sløjfes.

Svar: Robots.txt

CoolLinks — Wed, 13 May 2009 09:42:09 GMT

Hej igen

Jeg gætter på at du gerne vil hindre adgang til alt der har et fil- eller mappenavn, der ender på "-pi-"?

Hvis det er tilfældet, vil det ikke fungere med alle robotter i følge http://www.robotstxt.org/robotstxt.html

Her står bl.a.:

Note also that globbing and regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif".

Der er mere her:

http://en.wikipedia.org/wiki/Robots_exclusion_standard

The first version of the Robot Exclusion standard does not mention anything about the "*" character in the Disallow: statement. Modern crawlers like Googlebot and Slurp recognize strings containing "*", while MSNbot and Teoma interpret it in different ways.

Svar: Robots.txt

JDA Trading ApS — Wed, 13 May 2009 09:24:58 GMT

Jeg kender betydningen af koden, men er dog alligevel i tvivl om hvorvidt den tolkes som min hensigt.

Så derfor var jeg interesseret i at vide om der var en ekspert der kunne fortælle det...

Som bekræfter mig i det, uden jeg ligger ordene i munden på nogen

Svar: Robots.txt

Hanne Eskerod — Wed, 13 May 2009 09:24:50 GMT

Jeg ved ikke helt, om det er det svar du søger, men jeg bruger en

Disallow *buy*, fordi sider med 'Buy Now' blev indekseret, og det gav ikke nogen mening for kunderne at blive guided derind.

Det fungerer for mig.

Du kan evt. bruge Googles webmasterværktøj til at holde øje med, hvordan dine sider bliver indekseret.

Hilsen fra Hanne

Svar: Robots.txt

CoolLinks — Wed, 13 May 2009 09:18:18 GMT

Hej JDA

Jeg undrer mig lidt over at du har indsat en kode, som du ikke kender betydningen af ...

Hvor har du fået koden fra?

Mvh. www.coollinks.dk

Robots.txt

JDA Trading ApS — Wed, 13 May 2009 06:10:12 GMT

Har checket min robots.txt i forskellige validatorer, og med forskellige resultater.

Har lagt den her ind: Disallow: /*-pi-

For at være sikker på m jeg har gjort det rigtigt, så ville jeg gerne hvis der var nogen der kunne fortælle mig hvad ovensående kode gør ?

http://www.sexbutik.dk/robots.txt

-----------------------------------------------------------------------------------------------------------------------------------------

# /robots.txt for http://www.sexbutik.dk/
User-agent: *
Disallow: /mini_admin/
Disallow: /images/
Disallow: /multi/admin/
Disallow: /multi/images/
Disallow: /awstats/
Disallow: /account.php
Disallow: /checkout_shipping.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_success.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /shopping_cart.php
Disallow: /popup_image.php
Disallow: /product_reviews_write.php

User-agent: Googlebot-Image
Disallow: /

User-agent: Googlebot
Disallow: /*-pi-

Sitemap: http://www.sexbutik.dk/sitemapmain.xml
Sitemap: http://www.sexbutik.dk/sitemapproducts.xml
Sitemap: http://www.sexbutik.dk/sitemapcategories.xml
Sitemap: http://www.sexbutik.dk/sitemapmanufacturers.xml
Sitemap: http://www.sexbutik.dk/sitemapspecials.xml
Sitemap: http://www.sexbutik.dk/sitemapinformative.xml

-----------------------------------------------------------------------------------------------------------------------------------------