Du får intet ud af at sætte "noindex" på, når du har blokeret via robots.txt - for du har jo netop fortalt Google via robots.txt, atde IKEK må crawle dit indhold, så de ser aldrig din "noindex" ;-) |
Jeg har brugt robots.txt på mine søgeresultater og noindex på nogle af mine kategorier.
Men bliver de mange "fejl"-links slettet af sig selv, så jeg kan undgå duplicate content ?