Hjælp til salg (Ikke internet)

Svar: Robots.txt syntax

Tim Pedersen — Tue, 25 Oct 2011 06:06:45 GMT

Tak, det er ikke altid man kan se skoven for træer :)

Svar: Robots.txt syntax

Kim Tetzlaff - Kim Tetzlaff ApS — Mon, 24 Oct 2011 22:24:02 GMT

Lige det emne er der skrevet rigtig meget om på Amino.

Robots.txt bruges ikke til at beskytte sider mod indeksering, den beskytter mod sider bliver crawlet, dog kun hos robotter der respektere robots.txt. Så du skal ikke bruge robots.txt når du vil beskytte mod indeksering, du skal bruge noindex robots metatagget.

Det er vidst svar nok på dit spørgsmål.

MVH Kim

Robots.txt syntax

Tim Pedersen — Mon, 24 Oct 2011 22:13:09 GMT

Jeg ved ikke om jeg lige er blevet straffet af den onde Panda, men 
jeg har faldet et par steps tilbage på http://birdeye.dk

Så nu roder jeg lige med G webmaster tools, den fortæller mig 
at jeg har noget  dublicat content, det prøver jeg så og undgå 
med denne linje i robots.txt filen,


Disallow: /tag/*/page/2/$
Disallow: /tag/*/page/3/$
Disallow: /tag/*/page/4/$

Spørgsmålet er fatter google det ? altså at 
alle tag sider med et eller andet tag ikke skal indexseres ?

Den anden jeg er i tvivl om 
Disallow: /galleri/?picasaViewAlbumId$

Håber i kan hjælpe.
godnat