Skal du bruge robots.txt

re: Skal du bruge robots.txt

Thomas Rosenstand — Mon, 23 Nov 2009 13:09:31 GMT

Ja - hvis du lægger den i subdomænets folder.

re: Skal du bruge robots.txt

Michael Hansen — Mon, 23 Nov 2009 10:09:51 GMT

Kan man smide subsomæner ind i den, så den ikke indexerer subdomæner? f.eks http//:noget.enside.dk

re: Skal du bruge robots.txt

Jesper — Wed, 16 Sep 2009 07:01:58 GMT

Ok tak.

Dvs at den napper hele urlstrengen ?

Jeg skal have stoppet 4 indgange med varianter af siderne på min shop.

Men kan jo ikke bare sætte /?sort=prices ind i robots da url jo ikke starter med det men bliver sat i enden af strengen. Så dette vildcard må da være løsningen på det- ikk

Altså således: *?sort=prices* eller bare *sort=prices* da den jo også vil snuppe ? hvis den napper alt foran * -- Ja man skal jo lære det fra bunden :-) Tak for svar Thomas !

re: Skal du bruge robots.txt

Thomas Rosenstand — Tue, 15 Sep 2009 20:46:48 GMT

En * er et wildcard, og den betyder blot, at der kan stå hvad som helst foran "sort=price".

re: Skal du bruge robots.txt

Jesper — Tue, 15 Sep 2009 20:29:25 GMT

Hej

Hvad betyder stjernerne i denne robots.txt streng ? Disallow: /*sort=price*

re: Skal du bruge robots.txt

Thomas Pedersen — Wed, 05 Aug 2009 10:40:38 GMT

Jeg ville bare lige sige, super indlæg.

Har ikke før for nogle uger siden kigget på hvad det skulle gøre godt for.

Men Har man et stort site, kan det jo være en super god ide, da der ellers er mange ting en søgemaskine stoppe indexeringen ved.