Det er måske værd at understrege, at når vi snakker "title" er det document title - IKKE META-title.
Dertil kan tilføjes at Yahoo faktisk læser og anvender META-keywords udover META-description, men det har ikke den helt store vægt.
Google anvender kun meget sjældent META-descriptions - oftest kun hvis der ikke er andet relevant tekst at hente på siden (f.eks. en ren grafisk eller
Flash side).
Dublin Core (DC) tags anvendes ikke af nogen som helst af de store søgemaskiner, så med mindre jeres interne systemer anvender disse (hvilket nogle enterprise søgefunktioner og katalogiseringssystemer gør) så er der ingen grund til at have dem med.
META-robots er en standard der kan bruges til at udelukke søgmaskinerne fra crawling - IKKE indeksering. Crawling og indeksering er to forskellige ting, men det kommer jeg tilbage til lige om lidt. Man kan med denne kode vælge følgende følgende "settings": NOINDEX,
NOFOLLOW - det første skulle i princippet fortælle søgemaskinerne at siden ikke skal indekseres og det sidste at
links fra siden ikke skal følges, men som nævnt fortolkes de i praksis ikke helt på den måde. Men at skrive, som du gør: <META NAME="Robots" CONTENT="ALL"> er faktisk noget vrøvl idet du skriver (oversat til dansk): "Denne side må ikke, ikke indekseres" :)
Men tilbage til crawling contra indeksering ...
Crawling er når søgemaskinerne besøger dit
website og downloader indholdet fra dine sider. Indeksering er når de placerer et link i deres indeks til dine sider - sådan groft sagt. Særligt Google har rigtig mange sider indekseret som de aldrig har besøgt - aldrig crawlet. De placerer dem i indekset og ranker dem alene på baggrund af bl.a. links til siden fra andre sider og sites. Så selvom du anvender META-robots, eller robots.txt for den sags skyld, kan siderne altså sagtens havne i Google. Dertil kommer så, at ingen af standarder overholdes 100% perfekt - jeg har set masser af eksempler på sider der var korrekt "beskyttet" med META-robots eller robots.txt faktisk BLEV crawlet og indekseret, så hvis man virkelig vil holde robotterne ude må man enten passwordbeskytte siderne (de hacker ikke! :)), give dem en 403 (access denied) eller
cloake dem (vise dem noget andet end brugerne - f.eks. et redirect til et "sort hul")