Hvordan får jeg crawlerne til ikke at indeksere denne url?

Hej Amino

Hvordan får jeg crawlerne til ikke at indeksere disse url i min robot.txt?

minside.dk/cart?qty=1&id_product=5&token=423dade85feff9b636bacef11272b1fa&add

minside.dk/cart?add&id_product=24&token=423dade85feff9b636bacef11272b1fa

Mvh

Søren

Michael Spliid:

User-agent: *
Disallow: din url

Første linie fortælle at det gælder for alle bots , browsere m.m.
Anden linie gentages for hver url du vil ekskludere, du kan også vælge at ekskludere en sti feks. /admin

Håber du kan bruge svaret

Hej Michael

Tak for dit svar, men er godt klar over at jeg kan blokere URLs på den måde, men ikke når det er en token-url der ændrer sig.

Mvh

Søren

Her er et eksempel...

User-agent: *
Disallow: /cart

Men den her lukker du for indeksering af alt i din "cart" resten er bare parameter...

:-) 

Det er ikke rigtig den rette metode at bruge når du efterspørger en metode til IKKE at få indekseret den URL. Robots.txt bruges kun til at blokere mod crawling, ikke indeksering.

Du kan læse mere om robots.txt og det at undgå indeksering her.

Yderligere kan du via Google webmaster tools fortælle at sider som har den token, ikke skal ignoreres.

MVH Kim

KTJ-Media.dk:

Det er ikke rigtig den rette metode at bruge når du efterspørger en metode til IKKE at få indekseret den URL. Robots.txt bruges kun til at blokere mod crawling, ikke indeksering.

Du kan læse mere om robots.txt og det at undgå indeksering her.

Yderligere kan du via Google webmaster tools fortælle at sider som har den token, ikke skal ignoreres.

MVH Kim

Enig, robots.txt er den sidste løsning man bør overveje.

Du kan implementere canonical URL, så du i kildekoden på alle dine sider med forskellige tokens skriver:

link rel="canonical" href="minside.dk/cart/"/>

Og som Kim skriver kan du i Webmastertools fortælle Google, hvilke parametrer der ikke skal indekseres. Det kan du læse om her http://support.google.com/webmasters/bin/answer.py?hl=da&answer=1235687

Jeg følger lige med her.. :)

Thomas Frost:

Du kan implementere canonical URL, så du i kildekoden på alle dine sider med forskellige tokens skriver:

link rel="canonical" href="minside.dk/cart/"/>