Jeg har forklaret problematikken mange gange tidligere, men jeg gentager den gerne :) - Men lad mig da lige starte med at få en anden ting på plads ...
> hvorfor Google skulle stille et værktøj til rådighed som arbejder imod deres eget mål;
Googles mål er IKKE at sikre at lige DIN virksomhed får så mange relevante besøgende som muligt. Det er deres opgave, at sørge for, at søgebrugerne altid får gode søgeresultater. Det er to helt forskellige ting. Hvis din og min virksomhed er 100% lige relevant for en søgning, og iøvrigt lige gode (sådan objektivt set) så er Google ligeglad med om det er dig eller mig der ligger øverst - fordi det for brugerne vil være ligegylædigt (igen forudsat, at begge vores virksomheder var præcis lige gode). Men JEG er ikke ligeglad - ´JEG vil ligge øverst - over dig! :)
Iøvrigt tager du helt fejl, hvis du tror at Google ikke godt kan finde på, at sige at noget er ufarligt, for derefter at misbruge det. Det har de gjort før. Et af de mere markante eksempler var for nogle år siden, da de lancerede NO ARCHIVE -tagget, hvor de også lovede at det var helt ufarligt, og blot gjorde at cache linket i søgeresultater ikke blev vist. Et par måneder efter blev samtlige website slettet af deres indeks, som brugte NO ARCHIVE -tagget!
Der findes masser af andre eksempler, der med al tydelighed viser hvor Googles loyalitet ligger - og det ER altså ikke hos dig og mig, som virksomheder :)
Google vil gerne have adgang til al det materiale de kan få, for så er de mere sikre på, altid at kunne finde noget relevant materiale når folk søger. Men det betyder langt fra, at alt materiale altid vil blive vist. Meget af det vil aldrig dukke op øverst i nogen som helst søgninger. For det meste er der jo langt mere relevant materiale end man kan vise på den første side, eller 2 - og det er ikke meget mere almindelige søgebrugere gider bladre sig igennem. For det meste er der tusinder eller millioner af resultater på en søgning.
Google er i ekstrem grad en linkbaseret søgemaskine. Det betyder, at links betyder ALT! Hvis ikke Google selv kan finde frem til dine sider via links - internt på dit website og/eller fra eksterne websites, så vurderes som værende af laveste kvalitet. Hvis de absolut ikke kan finde andet i deres indeks på en søgning, så bliver det vist - men ikke hvis der er andet, som der er linket bedre til. Så med andre ord: Hvis der ikke er nogle links til dine sider, som Google kan finde, så er der ekstremt lille sandsynlighed for, at de vil ranke på noget som helst. Og hvis der ER links til dine sider, som Google kan finde, så har du slet ikke brug for et XML-sitemap, for så vil de alligevel blive indekseret (hvis ellers Googles mange filtre iøvrigt godkender det).
Hvis du ikke bruger XML-sitemaps, og der er sektioner af dit website, som ikke bliver indekseret, så kan du konstatere problemet og begynde at undersøge hvad årsagen kan være. Er der fejl i nogle interne links på dit website - så Google ikke kan finde siderne? Er links il siden udskrevet i JavaScript? Kan der være andre tekniske årsager til, at Google ikke kan finde siderne - eller vælger de blot ikke at medtage dem (tjek dine logfiler)? I alle fald kan du undersøge dette når problemet kan konstateres. Hvis du bruger XML-sitemaps dækker du for dette - du vil ganske enkelt ikke opdage at du har link-problemer, eller problemer med filtrering. Så det kan godt være dine side bliver indekseret, og du TROR der ER links til dem, men hvis Google faktisk ikke kan få øje på disse links, så vil dine sider have ekstremt svært ved at ranke.
Så alt i alt - bortset fra nogle ganske få situationer, og i disse helt kortvarigt, så er det bedst at lade være med at bruge XML-sitemaps