Min pointe gik lidt på at når der aligevel crawles og indexeres (og bruges ressourcer) så er de ekstra tilførte ressourcer der skal til for at lave en primitiv automatisk analyse af url der indexeres samt indhold der indexeres ikke noget der er et voldsomt tillæg og derved kan der spares mange ressourcer ved senere at skulle trawle store datamængder ved at klare det når man aligevel har fat i dataen. |
Ja, og min pointe er, at du ikke har ret. Jeg ved som sagt hvilke resurseudfordringer Google kæmper med i det daglige, og hver enkelt lille bit øger problemet. Prøv selv og gange og dividere lidt, så vil du hurtigt se hvor mange tusinde ekstra servere hver enkelt lille tjek kræver :)