Jeg er lidt i tvivl om dette er den rette kategori men here goes.
Jeg har en dedicated server hos Hostnine og har i over 2 uger nu fået beskeden om at "Googlebot kan ikke få adgang til dit website" på de 3 domæner som ligger derpå. Jeg har prøvet at verificere dem med HTML fil, META, analytics og robot.txt (som min udbyder uploadede i dag)
Hvad kan ligge til grund for at de ikke kan nå min server? Min udbyder siger at jeg skal få Google til at være specifik i hvor problemet ligger men hvordan får jeg lige fat i Google?
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Den første linje er bare en kommentar. Den næste siger at hvis den er Googlebot så læs her. Nede på næste linje disallower den så bare hele svineriet.
Ligeledes andre browsere har heller ikke lov til at indeksere siden (om de retter sig efter det er en anden sag - afhængig af søgemaskine)
Måden du kan løse det på er ved at rette det så du sriver noget i stil med
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Allow: /
Disallow: /admin/ #Dette er et eksempel - det er ting du ikke vil have Google til at indeksere - for eksempel administrationssider
User-agent: *
Allow:
Disallow: /cgi-bin/
Jeg håber det hjælper dig i den rigtige retning. Dog skal du lige huske på, at den først vil holde op med at skrive det næste gang at Google har tjekket robots.txt (næste gang den forsøger at besøge siderne).
På www.mitfamilieliv.dk har jeg nu prøvet at oprette et sitemap og tilføjet den til robots.txt
Tester jeg min robot.txt i den tester der er på webmastertools såsiger den at den er godkendt. men alligevel siger de at de ikke har adgang til den. Ammen jeg er ved at gå ud af mit gode skind. Det er 3 sider jeg er ved at miste alt trafik på
Hvad kan jeg gøre? Min udbyder siger at jeg skal kontakte Google men hvordan?