Teste e-mærket

Karsten, tester du kun med og uden eMærket - eller har du inddraget andre relevante varianter (f.eks. et "fake" mærke eller andre mærker (TrustPilot, Truste etc), for at afklare om det, hvis det viser sig mærket hjælper, bare er "mærke effekten" og ikke specifikt eMærket)?

Dertil kommer naturligvis, som du selv er inde på, at det ville være bedst at teste det på flere typer af sites med forskellige kundegrundlag. Måske reagerer kvinder mere på mærket. Måske mænd. Måske unge, gamle, bånderøve eller cafe latte flippere. Who knows ...

Helt enig, Karsten. Og så er problemet jo også, at hvis det er rigtige shops - og det er jo bedst, så vil shop ejeren nok ikke være så vild med at køre for længe med en test-variant som giver virkelig dårlige resultater :)

Karsten Lund:

Signifikansniveauet er netop problemet. Det har været samme historie for alle de tests der er kørt, at der løbende kommer -tæt-på- 100 i signifikans, men at der altid er "tilbagefald". Jeg vil ikke sige der som sådan er dødt løb, fordi der er en version der i alle tilfælde ligger på toppen, men som er udfordret i forhold til at skabe NOK signifikans til at afslutte testen. 

Jeg har dog et par andre teser, som skal testes, fordi jeg tror godt jeg ved hvad der ligger til grund for denne "kamp". 

-Karsten

Ja, det er vigtigt at have styr på signifikansniveauet. Det skrev jeg også "lidt" om for lidt tid siden her.

Bruger du Google Website Optimizer til at udføre testen? Hvis ja, så forstår jeg ikke helt hvorfor du forsøger at komme op på 100%, da det værktøj (ligesom majoriteten) bruger 95% som signifikansniveau. Men du vil måske bare være ekstra sikker? :)

Du skrev for nogle måneder siden at du havde haft 80.000 igennem testen. Hvor mange er du oppe på nu? Kan du vise nogle screenshots af det foreløbige resultat? Det bliver spændende at se den endelige konklusion.

Hej Jacob, beklager jeg skrev at den var tæt på 100, det er selvfølgelig noget vås. Det jeg MENTE var at det i perioder har været tæt på at være "signifikant" - endda så tæt (som nævnt før) at google website optimizer (som jeg rigtigt nok bruger) har udråbt en vinder, men kun i 1 dag eller 2, og så er den faldet tilbage igen. 

Jeg kunne derfor "nemt" have malet fanden på væggen, og fortalt at GWO endelig havde fundet en vinder, men lad det være sagt nu allerede. House of kids fordobler ikke omsætningen pga e-mærket. Det er uhyre tæt løb. 

Når jeg skriver der er flere tests, er det fordi der igennem testen er fremkommet nye teser om hvem, og hvornår folk er mest eller mindst overbeviste om at e-mærket er relevant.. og derfor skal man nogle gange sadle om i testen, for netop at udfase eller minimere den mulige påvirkning som en variabel kan have på resten af testen. 

Setup-et er som du har beskrevet i din andet blog indlæg, men jeg tester altid meget nuanceret og i dette tilfælde hvor mange har forskellige interesser i at fortolke et resultat på den ene eller anden måde.. nytter det ikke noget at sjuske med testen. 

Der har været over 130.000 besøgende i de tests jeg har kørt. Jeg ved godt at Google selv siger at 100 til hvert udfald er nok... men det ramte vi allerede 4-5 dage efter start.. så det er ikke der skatten ligger begravet :)

-Karsten

Ja, du gør nok klogt i at have signifikante resultater hvis du skal til at konkludere om e-mærket kan betale sig eller ej :)

Karsten Lund:

Når jeg skriver der er flere tests, er det fordi der igennem testen er fremkommet nye teser om hvem, og hvornår folk er mest eller mindst overbeviste om at e-mærket er relevant.. og derfor skal man nogle gange sadle om i testen, for netop at udfase eller minimere den mulige påvirkning som en variabel kan have på resten af testen. 

Vil det sige at du har slettet hele testen et par gange og startet helt forfra? Du har nok ret, men for mig at se er det en rimelig sort/hvid situation. Man har e-mærket indbygget i top banneret på siden og viser det til 50% og ser om de konverterer bedre end de 50% som ikke ser e-mærket. For når alt kommer til alt, så skal man alligevel lave en beslutning om man vil betale for at have e-mærket eller ej. Og så er det jo ligemeget om nogle kunder bliver påvirket mere af det end andre - i den specifikke webshop. Du skal jo ende op med en "one-size-fits-all" løsning, som skal virke på alle kunder. Med mindre man vil lave en meget avanceret løsning, hvor man segmenterer trafikken og har forskellige webshop-designs som man viser til forskellige kunder. Men det er jo bare det jeg har evner til at fatte, så jeg vil da gerne høre hvad det er for teser du gerne vil have med i testen :)

Karsten Lund:

Der har været over 130.000 besøgende i de tests jeg har kørt. Jeg ved godt at Google selv siger at 100 til hvert udfald er nok... men det ramte vi allerede 4-5 dage efter start.. så det er ikke der skatten ligger begravet :)

Min erfaring er at 100 konverteringer holder meget godt når man tester store forskelle, hvilket man også bør gøre så vidt det er muligt. Det kan f.eks. være knapper som brugeren skal interagere med og trykke på eller overskrifter/tekster som man ved brugeren vil læse. E-mærket indgår ikke direkte i processen med at handle i en webshop, men ligger mere i baggrunden og skaber troværdighed og vil derfor betyde mindre. De små forskelle der er i denne test vil kræve mange flere konverteringer for at man kan få et signifikant resultat. Men 130.000 besøgende med en konverteringsrate på 1% giver alligevel 7500 konverteringer pr. variant, så det må være tæt på :)

Spændende projekt, glæder mig til at se resultatet

Men det lyder da som om at hvis der er meget tæt løb, så skal man op i rigtig mange konverteringer, før det kan betale sig at få de måske få ekstra konverteringer, der kan betale de 1.900 ex. moms (ansøgningsgebyr) + 4.500 ex. moms årligt.

Super godt

Så kom der lige noget nyt omkring testen:

• E-mærket virker  + 32% konvertering