Hej Jesper,
Det er en virkelig god og helt central observation!
Det er netop det fænomen (modellernes iboende variation/temperatur), der gør, at traditionel rank tracking ikke virker til LLM’er. Hvis man kun tester ét spørgsmål én gang, får man et øjebliksbillede, der hurtigt kan være misvisende.
Vi håndterer det på tre måder i Viseo:
Statistisk sampling frem for enkeltmålinger:
Vi kører ikke bare ét opslag, men sampler spørgsmål på tværs af flere sessioner, modeller (både ChatGPT og Gemini) og formuleringer. Det er derfor, du i oversigten ser målinger baseret på f.eks. 150–200+ genererede svar pr. kørsel.
Procentvis sandsynlighed / Anbefalingsrate:
I stedet for at sige "du ligger nr. 1", måler vi i sandsynligheder: Hvor mange procent af gangene bliver dit brand nævnt, anbefalet eller brugt som kilde over en hel pulje af svar? Et stærkt optimeret brand vil typisk dukke op i f.eks. 70–80 % af svarene, mens et svagere optimeret brand kun rammer 5–10 % eller 0 %.
Kilde-konsistens:
Selvom selve teksten og de nævnte navne varierer i svaret, kigger vi i høj grad på de underliggende kilder, modellerne slår op i. Hvis dit domæne stabilt er blandt de kilder, modellen henter viden fra, stiger din sandsynlighed for konsistente anbefalinger markant over tid.
Målet er altså ikke at garantere 100 % identiske svar hver gang – for det gør en AI aldrig – men at sikre, at dit website har så høj autoritet og relevans på emnet, at du statistisk set vinder anbefalingen i langt størstedelen af tilfældene.
Bliv gratis medlem
Opret bruger