Hjælp til salg (Ikke internet)

Svar: Findes der en oversigt over de forskellige Robots.txt filer?

Per Allerup — Sat, 06 Jun 2015 12:13:16 GMT

Grunden til at de er så forskellige, er den simple, at deres hjemmesider er bygget på forskellige systemer, som ikke har samme filstrukturer.

Formålet med robots.txt er jo at fortælle botterne hvordan de skal behandle enkelte mapper og filer, og den enkelte hjemmesideejer kan have deres egne grunde til at udelukke en søgemaskine fra en mappe eller fil.

Svar: Findes der en oversigt over de forskellige Robots.txt filer?

Allan Kaaber — Wed, 03 Jun 2015 21:05:00 GMT

Super vil jeg da lige tage et kig på, tak :)

Svar: Findes der en oversigt over de forskellige Robots.txt filer?

Thomas Rosenstand — Wed, 03 Jun 2015 21:02:59 GMT

Der er et hav af informationer at hente lige her.

Og en enkelt artikel fra min blog her: Robots.txt

God læselyst!

Findes der en oversigt over de forskellige Robots.txt filer?

Allan Kaaber — Wed, 03 Jun 2015 20:34:44 GMT

Hej Aminoer.

Jeg sidder lige og kigger på nogle forskellige Robots.txt filer og kunne egentlig godt tænke mig at vide hvad de alle betyder. Jeg kender de basale, men der findes jo rigtig mange! - Findes der ikke en "manual" et sted på nettet, hvor man kan se hvad de allesammen betyder? eks. aner jeg ikke hvad /webvars er.

Her er et par eksempler på de sider jeg kigger på. De er alle konkurrenter inden for samme branche og jeg prøver at finde ud af, hvorfor deres .txt filer er så forskellige.

Side nr. 1

User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/

Side nr. 2

User-agent: * Disallow: /webvars/ Disallow: /opdater/ Disallow: /cms/ Disallow: /ws/ Disallow: /imodul/ User-agent: Googlebot
Sitemap: http://www.domæne.dk/sitemap.xml

Mvh
Allan