Teknik, hosting & e-handelsløsninger

Svar: robots.txt

Steffen Daleng — Thu, 04 Nov 2010 15:21:14 GMT

Hvis du ikke har noget indhold du ønsker udelukket fra google eller andre botter, så er der egentligt ikke den store grund til overhovedet at have en robots.txt fil, med mindre det bare er for at smide en adresse på dit sitemap, men det kan jo også uploades direkte i webmasters.

http://www.google.com/support/webmasters/bin/answer.py?hl=da&answer=156449&from=35237&rd=1

Svar: robots.txt

Tom Frank Christensen — Thu, 04 Nov 2010 15:07:10 GMT

Ralf Willers:
Er også lidt forvirret ang, hvad du vil i din fil..

Hvis du ikke vil udelukket noget som helst, så fjern Disallow helt....
Jeg ville ændre den til
User-agent: *
Allow: /

Enig

Svar: robots.txt

Ralf Willers — Thu, 04 Nov 2010 15:03:32 GMT

Er også lidt forvirret ang, hvad du vil i din fil..

Hvis du ikke vil udelukket noget som helst, så fjern Disallow helt....


Jeg ville ændre den til
User-agent: *
Allow: /

Svar: robots.txt

Per Bruun Jespersen — Thu, 04 Nov 2010 14:17:32 GMT

Jeg aner ikke hvordan fanden den er kommet ind men jeg har ændret den til "Disallow:" før da jeg nemlig havde det problem. Fatter det ikke :P

Svar: robots.txt

Anders Saugstrup — Thu, 04 Nov 2010 13:10:05 GMT

BruunMedia:

Jeg har vist løst det nu efter 10 timer :P jeg havde ændret alle urls så det var med www. istedet for uden, men den kunne stadigvæk godt indeksere uden. så jeg skiftede tilbage så alle sider vises og indekseres uden www.

Aner ikke hvordan den ikke kunne læse det da jeg har givet Webmasterværktøj besked om det "nye" var med www. :)

Anyways! Works now!

Er ikke sikker på om jeg har misforstået hele sagen, men det ser da ud til at du har spærret for alt med din robots.txt fil i øjeblikket?

http://bautik.dk/robots.txt

Mvh Anders

Svar: robots.txt

Per Bruun Jespersen — Thu, 04 Nov 2010 10:45:23 GMT

Jeg har vist løst det nu efter 10 timer :P jeg havde ændret alle urls så det var med www. istedet for uden, men den kunne stadigvæk godt indeksere uden. så jeg skiftede tilbage så alle sider vises og indekseres uden www.

Aner ikke hvordan den ikke kunne læse det da jeg har givet Webmasterværktøj besked om det "nye" var med www. :)

Anyways! Works now!

Svar: robots.txt

Casper Schneidereit — Thu, 04 Nov 2010 10:43:29 GMT

Hvis du blot vil tillade søgemaskinerne alt, så prøv at fjerne din robots.txt og forsøg igen.

robots.txt

Per Bruun Jespersen — Thu, 04 Nov 2010 10:40:22 GMT

Jeg har problemer med at få google til at besøge min nyligt flyttet side bautik.dk

Jeg har tilladt google at besøge min side igennem wordpress, og jeg har selv lavet en robots.txt fil i root for at sikre mig at google kan komme ind.

Men jeg tester inde på Google webmasterværktøj adgangen til siden ved at teste min robots.txt siger den at der stadigvæk er Disallow: /.

Kan der ligge en robots.txt andre steder en i roden på siden?