Findes der en oversigt over de forskellige Robots.txt filer?

Hej Aminoer.

Jeg sidder lige og kigger på nogle forskellige Robots.txt filer og kunne egentlig godt tænke mig at vide hvad de alle betyder. Jeg kender de basale, men der findes jo rigtig mange! - Findes der ikke en "manual" et sted på nettet, hvor man kan se hvad de allesammen betyder? eks. aner jeg ikke hvad /webvars er.

Her er et par eksempler på de sider jeg kigger på. De er alle konkurrenter inden for samme branche og jeg prøver at finde ud af, hvorfor deres .txt filer er så forskellige.

Side nr. 1

User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/

Side nr. 2

User-agent: * Disallow: /webvars/ Disallow: /opdater/ Disallow: /cms/ Disallow: /ws/ Disallow: /imodul/ User-agent: Googlebot
Sitemap: http://www.domæne.dk/sitemap.xml

Mvh
Allan

Super vil jeg da lige tage et kig på, tak :)

Grunden til at de er så forskellige, er den simple, at deres hjemmesider er bygget på forskellige systemer, som ikke har samme filstrukturer.

Formålet med robots.txt er jo at fortælle botterne hvordan de skal behandle enkelte mapper og filer, og den enkelte hjemmesideejer kan have deres egne grunde til at udelukke en søgemaskine fra en mappe eller fil.