Robots.txt virker ikke?

Hej,

Jeg hjælper lidt til med siden www.madforlivet.com men sidder fast med et problem, efter al sandsynlig noget ganske simpelt. Håber nogen kan hjælpe.

For snart 3 uger siden flyttede vi sitet fra www.madforlivet.com/j/ til ww.madforlivet.com. I den forbindelse tilføjede vi

User-agent: *
Disallow: /j/

i robots.txt filen, men de gamle urls bliver stadig indekseret. Det site-map, vi submitter til Google, indeholder 201 urls, men hvis jeg kører en site:madforlivet.com viser Google omkring 1500 indekserede sider, hvor langt de fleste er ugyldige urls fra den gamle /j/ installation. Hvis en bruger klikker på dem, bliver de redirectet til www.madforlivet.com, men vi ville helst, at de blev fjernet fra søgemaskinerne.

Ifølge Webmaster Tools crawler Google cirka 250 sider om dagen på sitet, så det virker underligt, at de gamle /j/ sider stadig ikke er fjernet efter 3 uger.

Nogen der har et godt råd? Gør vi noget forkert? Noget vi mangler at gøre?

På forhånd tak.

AdXpert:

For snart 3 uger siden flyttede vi sitet fra www.madforlivet.com/j/ til ww.madforlivet.com. I den forbindelse tilføjede vi

User-agent: *
Disallow: /j/

i robots.txt filen, men de gamle urls bliver stadig indekseret.

Det er ganske simpelt fordi robots.txt ikke beskytter mod indeksering, men mod crawling.

Vil du have fjernet de URLS fra søgemaskinerne, og at Google stopper med at indekserer de sider skal du enten 301 redirecte dem eller sætte et noindex metatag på siden når den url bliver tilgået. I begge tilfælde skal du lade Google crawle siden, som er det robots.txt beskytter imod.

Så det i gør forkert er at i bruger robots.txt og måske mangler at lave en 301 redirect (det fremgår ikke af beskrivelsen af dit problem)

MVH Kim

Tak for jeres svar.

Alle sider under www.madforlivet.com/j/... er sat til at 301 redirecte til forsiden på www.madforlivet.com. Burde det ikke være nok til at fjerne siderne fra indexet?

Skal vi bare vente?

Thanks.

PS. Vi er opmærksomme på, at det ikke er ideelt bare at sende alle ind på forsiden, men vi troede ikke, det ville tage så lang tid at få de gamle links fjernet fra søgemaskinerne.

KTJ-Media.dk:

En side skal jo crawles for at man som søgemaskine eller browser, kan få at vide at den enten ikke findes (404 eller 410 header) eller at den er redirected (301), eller at den ikke må indekseres (noindex robots metatag).

Så mener du at jeg skal fjerne

Disallow: /j/

fra robots.txt filen, således at Google kan finde ud af at der er en 301 redirects?

AdXpert:

KTJ-Media.dk:

En side skal jo crawles for at man som søgemaskine eller browser, kan få at vide at den enten ikke findes (404 eller 410 header) eller at den er redirected (301), eller at den ikke må indekseres (noindex robots metatag).

Så mener du at jeg skal fjerne

Disallow: /j/

fra robots.txt filen, således at Google kan finde ud af at der er en 301 redirects?

helt korrekt