At bruge robots.txt til dette er ikke helt
optimalt. Tænk på en rigtig ondsindet konkurrent der smider et backink
op til siden (eller en ubetænksom bruger). Søgemaskinerne vil følge
linket og indeksere denne da der i din html står <meta
name="robots" content="index, follow"> - så her vil kun et noindex
på siden hjælpe.
passer ikke det du siger her. Google vil rigtig
nok indekserer noget, men det er ikke siden den vil indekserer. Det er
sådan at når en side er blokeret i robots.txt, vil det kun fortælle
søgemaskinerne at de ikke skal crawle siden. Og det Søgemaskiner som
Google så gør er at indekserer linket i stedet for, og underligt nok er
Google ikke særlig klog på dette punkt, ikke kun fordi de indekserer
linket til en side, men også fordi de kan finde på at indekserer vildt
underlige links alla www(.ktj-media.dk.
Ja mulighederne er mange,
det eneste man bare ikke skal, er at stole fuldt ud på at google gør som
man vil ha hvis man fx bruger robots.txt
Den klart bedste
løsning når man ikke vil have indekseret et side, er at bruge noindex
robots metatagget. Derudover kan man tage brug af canonical tag og
parameter styring i GWT for lige at sikre det lidt bedre. men noindex
robots metatagget er nok i de fleste tilfælde.
Det burde ikke være så besværligt lige at lave det at når "?options=cart" er sat, så sætter man et noindex robots metatag på, og det samme med andre parametre er sat. Jeg har ikke selv kigget så meget på magento, men PHP er jo PHP uanset hvordan man vender og drejer det :)
Ud over det så er Magento jo så stort sige det, der må da findes et modul der kan tage hånd om det?
For helt at forhindre en side i at blive føjet til Google-indekset, selvom andre websteder linker til den, skal du anvende metatagget noindex. Så snart Googlebot får fat i siden, vil den opdage noindex-metatagget og forhindre den pågældende side i at blive vist i webindekset.
For helt at forhindre en side i at blive føjet til Google-indekset, selvom andre websteder linker til den, skal du anvende metatagget noindex. Så snart Googlebot får fat i siden, vil den opdage noindex-metatagget og forhindre den pågældende side i at blive vist i webindekset.
Fint citat, men husk at det stadig kræver at siden ikke bliver blokeret for crawling via robots.txt. Gør man så siden ikke må crawles, er det jo egentlig ligemeget om man putter et robots metatag på, for google vil jo aldrig se dette tag. De må jo ikke crawle siden.
Så man skal udelukkende anvende robots metatagget, og ikke robots.txt