Hov. Du er ikke logget ind.
DU SKAL VÆRE LOGGET IND, FOR AT INTERAGERE PÅ DENNE SIDE
Log Ind

Robots.txt

Side 1 ud af 2 (14 indlæg)
Fra Odense
Tilmeldt 20. Feb 07
Indlæg ialt: 207
Skrevet kl. 08:10
Hvor mange stjerner giver du? :
Gennemsnit 5,0 stjerner givet af 1 person

Har checket min robots.txt i forskellige validatorer, og med forskellige resultater.

Har lagt den her ind: Disallow: /*-pi-

For at være sikker på m jeg har gjort det rigtigt, så ville jeg gerne hvis der var nogen der kunne fortælle mig hvad ovensående kode gør ?

http://www.sexbutik.dk/robots.txt

-----------------------------------------------------------------------------------------------------------------------------------------

# /robots.txt for http://www.sexbutik.dk/
User-agent: *
Disallow: /mini_admin/
Disallow: /images/
Disallow: /multi/admin/
Disallow: /multi/images/
Disallow: /awstats/
Disallow: /account.php
Disallow: /checkout_shipping.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_success.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /shopping_cart.php
Disallow: /popup_image.php
Disallow: /product_reviews_write.php

User-agent: Googlebot-Image
Disallow: /

User-agent: Googlebot
Disallow: /*-pi-

Sitemap: http://www.sexbutik.dk/sitemapmain.xml
Sitemap: http://www.sexbutik.dk/sitemapproducts.xml
Sitemap: http://www.sexbutik.dk/sitemapcategories.xml
Sitemap: http://www.sexbutik.dk/sitemapmanufacturers.xml
Sitemap: http://www.sexbutik.dk/sitemapspecials.xml
Sitemap: http://www.sexbutik.dk/sitemapinformative.xml

-----------------------------------------------------------------------------------------------------------------------------------------

JDATrading.dk - Erotisk Internet Handel - JDATrading.dk

Tilmeldt 5. May 09
Indlæg ialt: 17
Skrevet kl. 11:18
Hvor mange stjerner giver du? :

Hej JDA

Jeg undrer mig lidt over at du har indsat en kode, som du ikke kender betydningen af ...

Hvor har du fået koden fra?

Mvh. www.coollinks.dk
Tilmeldt 13. Aug 08
Indlæg ialt: 76
Skrevet kl. 11:24
Hvor mange stjerner giver du? :

Jeg ved ikke helt, om det er det svar du søger, men jeg bruger en

Disallow *buy*, fordi sider med 'Buy Now' blev indekseret, og det gav ikke nogen mening for kunderne at blive guided derind.

Det fungerer for mig.

Du kan evt. bruge Googles webmasterværktøj til at holde øje med, hvordan dine sider bliver indekseret.

Hilsen fra Hanne

NetMama.dk

Fra Odense
Tilmeldt 20. Feb 07
Indlæg ialt: 207
Skrevet kl. 11:24
Hvor mange stjerner giver du? :

Jeg kender betydningen af koden, men er dog alligevel i tvivl om hvorvidt den tolkes som min hensigt.

Så derfor var jeg interesseret i at vide om der var en ekspert der kunne fortælle det...

Som bekræfter mig i det, uden jeg ligger ordene i munden på nogen

JDATrading.dk - Erotisk Internet Handel - JDATrading.dk

Tilmeldt 5. May 09
Indlæg ialt: 17
Skrevet kl. 11:42
Hvor mange stjerner giver du? :

Hej igen

Jeg gætter på at du gerne vil hindre adgang til alt der har et fil- eller mappenavn, der ender på "-pi-"?

Hvis det er tilfældet, vil det ikke fungere med alle robotter i følge http://www.robotstxt.org/robotstxt.html

Her står bl.a.:

Note also that globbing and regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif".

Der er mere her:


http://en.wikipedia.org/wiki/Robots_exclusion_standard

The first version of the Robot Exclusion standard does not mention anything about the "*" character in the Disallow: statement. Modern crawlers like Googlebot and Slurp recognize strings containing "*", while MSNbot and Teoma interpret it in different ways.
Fra Odense
Tilmeldt 20. Feb 07
Indlæg ialt: 207
Skrevet kl. 11:49
Hvor mange stjerner giver du? :

Ja, det er næsten korrekt...

Men skal ikke ende på det, men være midt i en url, f.eks. www.6-butik.dk/porn_vixens_23-pi-4414.html

Som er nogen url´er jeg har pludseligt har fået indekseret. Problemet er hvis du klikker på linket, at den popper op og ændrer browser størrelsen, hvilket jo er ret irriterende.

Men så vidt jeg har læst mig til skal det ende på $, hvis det er alle med samme ndelse der skal sløjfes.

JDATrading.dk - Erotisk Internet Handel - JDATrading.dk

Tilmeldt 5. May 09
Indlæg ialt: 17
Skrevet kl. 12:01
Hvor mange stjerner giver du? :

Det ser ud til at du har gjort det rigtigt - i det mindste i forhold til Googlebot.

Fandt følgende:

Pattern matching
Googlebot (but not all search engines) respects some pattern matching.

To specify matching the end of a URL, use $. For instance, to block any URLs that end with .xls:

User-agent: Googlebot
Disallow: /*.xls$

http://www.google.com/support/webmasters/bin/answer.py?answer=40360

 

 
Fra Odense
Tilmeldt 20. Feb 07
Indlæg ialt: 207
Skrevet kl. 12:06
Hvor mange stjerner giver du? :

Ja jeg tror det er rigtigt, og det er også primært google der er problemet.

Og tror heller ikke andre robotter understøtter denne kode ?

Men mens jeg har læst og læst har jeg så lavet både en til googleot og til alle andre. Da jeg læste mig frem til at googlebot ikke læser User-agent: *

User-agent: *
Disallow: /mini_admin/
Disallow: /images/
Disallow: /multi/admin/
Disallow: /multi/images/
Disallow: /awstats/
Disallow: /account.php
Disallow: /checkout_shipping.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_success.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /shopping_cart.php
Disallow: /popup_image.php
Disallow: /product_reviews_write.php
Disallow: /*-pi-

User-agent: Googlebot
Disallow: /mini_admin/
Disallow: /images/
Disallow: /multi/admin/
Disallow: /multi/images/
Disallow: /awstats/
Disallow: /account.php
Disallow: /checkout_shipping.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_success.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /shopping_cart.php
Disallow: /popup_image.php
Disallow: /product_reviews_write.php
Disallow: /*-pi-

JDATrading.dk - Erotisk Internet Handel - JDATrading.dk

Tilmeldt 5. May 09
Indlæg ialt: 17
Skrevet kl. 12:18
Hvor mange stjerner giver du? :

På Google's side om robots.txt fremgår det ikke at de ikke understøttet User-agent: *

Tværtimod er der eksempler på hvordan det kan anvendes.

http://www.google.com/support/webmasters/bin/answer.py?answer=40360
Fra Odense
Tilmeldt 20. Feb 07
Indlæg ialt: 207
Skrevet kl. 12:25
Hvor mange stjerner giver du? :

Ja,lige nøjagtigt... hvilket jeg ikke var klar over  :-)

Så derfor må min ændring siden min første post i denne her tråd være korrekt.

Med lidt dobbelt konfekt i forhold til to identisk lister

User-agent: *

User-agent: Googleboot 

JDATrading.dk - Erotisk Internet Handel - JDATrading.dk

Side 1 ud af 2 (14 indlæg)
Bliv gratis medlem pa Amino