E-mærket vs. Trustpilot (A/B Split test)

Jeg melder mig også på banen med dem der følger interesseret med. Uden at det skal være kritik, synes jeg, at det lyder underligt, at både e-mærket og trustpilot skulle skade omsætningen. Med mindre selvfølgelig at det driver kunderne væk fra siden, og de derved glemmer deres igangværende.

Både trustpilot og e-mærket burde have en positiv effekt, eller i værste fald ingen virkning, men ligefrem en virkning der får folk til at fravælge køb, kan jeg ikke få til at hænge sammen.

Jeg glæder mig til at følge de kommende tests

Hej Theis,

Ja, jeg har tallene, men vil ikke offentligøre dem. Der er lidt for mange der lytter med.

I forhold til at det kan skade, så kan det sagtens skade omsætningen. Jeg tror dog som du siger at det er primært er fordi kunder har trykket på linket. Derfor er dette også fjernet i den nuværende test. :-) Og placeringen er også skiftet, så jeg ikke tager opmærksomhed fra CTA knappen.

Hej Hvejsel

Super interessant test du har gang i. Det er altid spændende når folk har passionen for at teste. Det handler dog i høj grad om at teste tingene rigtigt, og der er mange faldgrupper.

Jeg synes også det virker usandsynligt at begge mærker ville bidrage negativt til konverteringen, og derfor kunne jeg godt tænke mig at få afklaret, hvor mange konverteringer du havde på begge varianter, og om testens gennemsnitlige konvertering også var lavere end hvad shoppen ellers til dagligt levere. Du behøver ikke gå ind i at afsløre konverteringsraten.

Der er flere ting, som jeg normalt anbefaler man har på plads, ud over is i maven. Det er helt klart en fordel i starten af en test og have en "dobbelt kontrol" side - hvilket i realiteten bare er en ekstra side, der viser kontrollen. Denne er vigtig fordi hver enkelt test har sit "eget liv" og det er nemt hurtigt at blive positivt eller negativt mærket fordi der er KÆMPE udsving i starten, endten er der en positiv vinder på flere hundrede procent, og ellers falder testen fuldstændig igennem - dette er dog ikke nødvendigvis et tegn på at der er noget galt/rigtigt i testen.

Dobbelt kontrol, vil give dig et indblik i hvornår selve testens resultater kan begynde at sammenlignes - det vil sige, når dobbelt kontrollen, har den samme værdi som kontrollen, kan det med rette antydes at testen er ved at være troværdig (linje mæssigt - godt eller dårligt).

Statistisk validitet kan komme hurtigt - men troværdigt resultat af en test kan tage meget lang tid. Jeg har en personlig finger-regel, der siger at når hver variation i en given test alle har over 50 konverteringer, og dobbelt kontrollen har den samme "adfærd" som kontrollen - ja så kan man begynde at tolke lidt mere i dybden på testen.

Har man den fornødne is i maven, ja så anbefaler jeg at man ikke afslutter en test, før der minimum er 300 konverteringer pr aktive variation, og en statistisk validitet over 96-97% - men der kan været tidspunkter hvor man afslutter inden eller lader den køre endnu længere alligevel. 

-Karsten

Spændende test, og spændende resultat!

Må jeg spørge, kan i spore testene med ovre i Google Analytics? Evt. via noget CustomVar, så i kan segmentere på trafikken?

Grunden til jeg spørger er, at jeg tror det er vigtigt at se resultatet per markedsføringskanal også. For ellers render man godt og grundigt ind i den såkaldte law-of-averages.

Besøgende fra nyhedsbreve f.eks., kender jo jeres shop i forvejen. Hvorfor man godt kan opstille den tese, at e-mærket/trustpilot ikke har den store effekt på dem.

Hvorimod der typisk kommer mange nye kunder ind via Adwords kampagner, og det kan være mærkerne har stor effekt på disse.

Men ved at se alle markedsføringskanalerne over én kam, får man ikke nær så klart et resultat.

Sig til, hvis du har brug for hjælp med at segmentere på A/B-tests. Eller måle hvor mange hhv. nye/gamle kunder, der kommer ind via hver kanal (giver en ret så spændende indsigt :-P).

Med venlig hilsen
Søren Sprogø

Hej Søren,

Og hyggeligt at se dig følge med i Made4men.dk igen :)

Ja, det er sat op i Analytics også - Så der er fuld tracking på.

Jeg burde vel sagtens kunne sætte en rapport op i Analytics som kan vise det. Jeg prøver lige, og ser om jeg kan lave noget statistik vi kan bruge til noget.

Ellers vender jeg tilbage med mere statistik når den næste test er kørt ordentligt igennem.

Fedest!

Du har skrevet "New" to gange :-)

Men som du kan se, så kan der være stor forskel på hvordan de forskellige kanaler opfører sig!
Jeg vil dog ikke lige bruge tid nu på at forsøge at fortolke dine data.

En jeg især ville holde øje med, er trafik fra nyhedsbreve (hvis i har det ordentligt tagget). Ca. 90% af de besøgende her fra er gamle kunder, for hvem det ikke burde gøre det helt store om i har et mærke, eller hvilket mærke det nu er. Så hvis i ser store udsving i varianterne på denne trafik, så ville jeg gå testen efter i sømmene.

Men det er bare en lille teori jeg har, har desværre ikke haft mulighed for at teste det i praksis.

Med venlig hilsen
Søren Sprogø

PS.: Læg mærke til at jeg taler om at segmentere på nye/gamle kunder, ikke besøgende. Det kræver lidt tricks at kunne gøre det, men er ikke alt for besværligt.

Følger spændt med :-)

SoerenS=> jeg bruger også visualwebsiteoptimizer men kan ikke helt finde ud af at finde resultaterne i min google analytics. Da jeg sælger kosttilskud er der mange kunder som er gengangere, og de ødelægger selvfølgelig mine tests en del da de næsten er ligeglade med hvad der står da de bare skal have samme produkt som tidligere.

Vil blive glad for lidt hjælp, evt. bare over privat besked så vi ikke hicjacker denne fine tråd :-)