Hjælp til salg (Ikke internet)

Svar: Robots.txt virker ikke?

Kim Tetzlaff - Kim Tetzlaff ApS — Sat, 26 Feb 2011 00:16:46 GMT

Men fjern samtidig også grunden til at Google eller andre kommer ind på den side. er det et internt problem burde det være lige til at fjerne. Er det fordi andre linker til det, så er det straks lidt sværere at fjerne roden til problemet.

MVH Kim

Svar: Robots.txt virker ikke?

Kim Tetzlaff - Kim Tetzlaff ApS — Sat, 26 Feb 2011 00:13:24 GMT

AdXpert:

KTJ-Media.dk:
En side skal jo crawles for at man som søgemaskine eller browser, kan få at vide at den enten ikke findes (404 eller 410 header) eller at den er redirected (301), eller at den ikke må indekseres (noindex robots metatag).

Så mener du at jeg skal fjerne

Disallow: /j/

fra robots.txt filen, således at Google kan finde ud af at der er en 301 redirects?

helt korrekt

Svar: Robots.txt virker ikke?

AdXpert — Sat, 26 Feb 2011 00:12:39 GMT

KTJ-Media.dk:
En side skal jo crawles for at man som søgemaskine eller browser, kan få at vide at den enten ikke findes (404 eller 410 header) eller at den er redirected (301), eller at den ikke må indekseres (noindex robots metatag).

Så mener du at jeg skal fjerne

Disallow: /j/

fra robots.txt filen, således at Google kan finde ud af at der er en 301 redirects?

Svar: Robots.txt virker ikke?

Kim Tetzlaff - Kim Tetzlaff ApS — Fri, 25 Feb 2011 23:59:59 GMT

Jimi Hove:

Men der skulle ikke være noget galt. Hvis nogen ved noget bedre end mig , må de jo bare byde ind.

Nu går jeg ud fra at du har lavet 301 og ikke 302 redirects.

Hey Jimi

Jo det der er galt er jo at når han bruger robots.txt til at beskytte for crawling af de sider. Så vil Google jo i grunden ikke crawle de sider, og dermed heller ikke finde ud af at de redirecter over til en anden side, for de må jo ikke ifølge den robots.txt disallow.

En side skal jo crawles for at man som søgemaskine eller browser, kan få at vide at den enten ikke findes (404 eller 410 header) eller at den er redirected (301), eller at den ikke må indekseres (noindex robots metatag).

MVH Kim

Svar: Robots.txt virker ikke?

AdXpert — Fri, 25 Feb 2011 23:57:57 GMT

Tak for jeres svar.

Alle sider under www.madforlivet.com/j/... er sat til at 301 redirecte til forsiden på www.madforlivet.com. Burde det ikke være nok til at fjerne siderne fra indexet?

Skal vi bare vente?

Thanks.

PS. Vi er opmærksomme på, at det ikke er ideelt bare at sende alle ind på forsiden, men vi troede ikke, det ville tage så lang tid at få de gamle links fjernet fra søgemaskinerne.

Svar: Robots.txt virker ikke?

Kim Tetzlaff - Kim Tetzlaff ApS — Fri, 25 Feb 2011 23:45:20 GMT

AdXpert:

For snart 3 uger siden flyttede vi sitet fra www.madforlivet.com/j/ til ww.madforlivet.com. I den forbindelse tilføjede vi

User-agent: *
Disallow: /j/

i robots.txt filen, men de gamle urls bliver stadig indekseret.

Det er ganske simpelt fordi robots.txt ikke beskytter mod indeksering, men mod crawling.

Vil du have fjernet de URLS fra søgemaskinerne, og at Google stopper med at indekserer de sider skal du enten 301 redirecte dem eller sætte et noindex metatag på siden når den url bliver tilgået. I begge tilfælde skal du lade Google crawle siden, som er det robots.txt beskytter imod.

Så det i gør forkert er at i bruger robots.txt og måske mangler at lave en 301 redirect (det fremgår ikke af beskrivelsen af dit problem)

MVH Kim

Svar: Robots.txt virker ikke?

Jimi Hove — Fri, 25 Feb 2011 23:42:25 GMT

Det vigtigste er selvfølgelig at dine redirects virker. Men det kan godt tage lang tid før end de urls forsvinder. Nu har jeg ikke præcist holdt øje med hvor lang tid det kan tage, men minimum 3 uger er slet ikke unormalt for mig.

Efter sådan løs hukommelse vil jeg tro det tager lidt over en måned. Men der skulle ikke være noget galt. Hvis nogen ved noget bedre end mig , må de jo bare byde ind.

Nu går jeg ud fra at du har lavet 301 og ikke 302 redirects.

Tålmodighed.. :-)

Robots.txt virker ikke?

AdXpert — Fri, 25 Feb 2011 23:36:32 GMT

Hej,

Jeg hjælper lidt til med siden www.madforlivet.com men sidder fast med et problem, efter al sandsynlig noget ganske simpelt. Håber nogen kan hjælpe.

For snart 3 uger siden flyttede vi sitet fra www.madforlivet.com/j/ til ww.madforlivet.com. I den forbindelse tilføjede vi

User-agent: *
Disallow: /j/

i robots.txt filen, men de gamle urls bliver stadig indekseret. Det site-map, vi submitter til Google, indeholder 201 urls, men hvis jeg kører en site:madforlivet.com viser Google omkring 1500 indekserede sider, hvor langt de fleste er ugyldige urls fra den gamle /j/ installation. Hvis en bruger klikker på dem, bliver de redirectet til www.madforlivet.com, men vi ville helst, at de blev fjernet fra søgemaskinerne.

Ifølge Webmaster Tools crawler Google cirka 250 sider om dagen på sitet, så det virker underligt, at de gamle /j/ sider stadig ikke er fjernet efter 3 uger.

Nogen der har et godt råd? Gør vi noget forkert? Noget vi mangler at gøre?

På forhånd tak.