Her er 100-vis af gratis split-test idéer! (Use with care)

For nyligt blev der udgivet et mindre dansk værk omkring ideer til split-test. Det har jeg ikke noget imod. Men jeg mener ikke, at du behøver betale for at få ideer til split-test. Så her får du en masse gratis ideer! (Men beklageligvis også en påmindelse om, at du sikkert ikke kan teste det meste af det).

Hvad koster en rigtig god split-test idé? Svaret er: Intenting.

Opret en free trial hos Visual Website Optimizer. Så har du adgang til deres IdeaFactory. Der er 467 gode, læsevenlige idéer med billeder. Det er 0,- pr. idé.

Ok, du får også lige dette tophemmelige trick, men du må virkeligt ikke dele det med nogen: http://goo.gl/Ufhq9x

Langt de fleste af de idéer - ja langt de fleste generiske split-test idéer i det hele taget - er selvforklarende, nærmest lidt banale. De tager blot et element ad gangen på dit website og afprøver det op mod velkendte variationer. Fx at tilføje eller at fjerne elementer, at ændre størrelse eller placering af elementer eller udskiftning af billeder og tekst. Men kommer næsten ligeså langt ved at prøve sig frem. Men ok nogle af idéerne er gode, fordi reelt set mere er designændringer end split-test idéer. Og der er jo altid plads til at lære nyt...

Du spørger måske hvad du skal teste først, hvad der vigtigst at teste og giver mest ROI. Men det kan du ikke få svar på, for det kommer an på. Det er derfor rigtig konverteringsoptimering slet ikke handler om at split-teste alt muligt. Det handler i stedet om at lave en grundig analyse. Er er potentiale for det kan man så split-teste de hypoteser der er kvalificeret i analysen. Men fred nu være med det. 

Der findes mange blogs derude der giver eksempler på split-test. Du kan gå efter dem der larmer mest, fx ConversionXL, Unbounce eller Widerfunnel. Men i stedet for at bruge flere hundrede kroner på en bog, der indeholder det samme, så kan du også vælge at betale for WhichTestWon.com, hvor du ikke bare får et kæmpe arkiv over eksempler på split-test, du får også resultatet, learning og kommentarer. Det er langt mere værdifuldt en blot idéer.

Og for at gøre det hele værre, så er der virkeligt mange danske websites der slet ikke får noget ud af at split-teste. Helt enkelt fordi de ikke har trafik nok. Selvom du har tusindvis af besøg om dagen, kan det sagtens være, at det ikke er nok, fordi testens kvalitet også er afhængig af antallet af konverteringer og ændringens størrelse i procent. Rigtig mange lader sig narre af, at fx Visual Website optimizer viser flotte resultater allerede efter et par dage, men at tro på det er at skyde sig selv i foden. Det prøver VWO også forsigtigt at gøre opmærksom på (man skal jo nødigt skræmme kunderne væk). 

Endnu værre bliver det hvis man begynder at analysere på resultaterne, fx ved at segmentere dem. Den øvede split-tester vil vide at der er stor forskel på hvordan de forskellige trafikkilder konverterer, eller på hvordan konverteringen ser ud på mobil versus på desktop - ja eller hvordan betalt trafik ser ud på tablet?

De "dårlige" trafik-tal mange af vores danske websites lider under når det kommer til test, bliver nu endnu mere pressede fordi der i hvert segment er mindre trafik og færre konverteringer.

I sidste uge kørte jeg en split-test for Med24.dk. Den havde 120.000 sessions, flere tusinde konverteringer og havde kørt i over 3 uger. På papiret helt solidt. Men en efterfølgende analyse i Google Analytics viste hurtigt at resultater for fx betalt trafik på desktop ikke var statistisk signifikante. Det kan man hurtigt afprøve med fx VWO's signifikans tester på https://vwo.com/ab-split-test-significance-calculator/ (Tak til Rolf P.)

Samme analyse viste også, at den variation der vinder i VWO's egen oversigt, ikke altid er den variation der vinder for de enkelte segmenter. Så potentielt kan vi altså ødelægge konverteringsraten.

Så pas på med idéer til split-test, de kan vise sig at være splid af din tid. Og hvis du så oven i købet har betalt for dem...

Brug resultaterne med omtanke, tjek dem i din Google Analytics integration og se dem som læring, snarere end sandhed. Og pas på med små løft på 5-10%, de er med stor sandsynlighed slet ikke statistisk signifikante.

Okay, jeg ved godt at split-test er sexet, det er sjov og det så besnærende. Men nu er du advaret.

Eller hvad synes du? Tager jeg fejl?

Opfølgning: http://conversionxl.com/what-can-you-do-with-other-peoples-ab-test-results/