Hov. Du er ikke logget ind.
DU SKAL VÆRE LOGGET IND, FOR AT INTERAGERE PÅ DENNE SIDE

Teste e-mærket

Side 3 ud af 4 (37 indlæg)
Fra Lyngby
Tilmeldt 26. Mar 05
Indlæg ialt: 9713
Fra  DEMIB HOLDINGS ApS Waimea Digital Skrevet kl. 13:26
Hvor mange stjerner giver du? :

Karsten, tester du kun med og uden eMærket - eller har du inddraget andre relevante varianter (f.eks. et "fake" mærke eller andre mærker (TrustPilot, Truste etc), for at afklare om det, hvis det viser sig mærket hjælper, bare er "mærke effekten" og ikke specifikt eMærket)?

Dertil kommer naturligvis, som du selv er inde på, at det ville være bedst at teste det på flere typer af sites med forskellige kundegrundlag. Måske reagerer kvinder mere på mærket. Måske mænd. Måske unge, gamle, bånderøve eller cafe latte flippere. Who knows ...

Fra København
Tilmeldt 15. Dec 08
Indlæg ialt: 899
Skrevet kl. 13:33
Hvor mange stjerner giver du? :

Der er test af "dummy sikkerhedsmærke" med i test-pipelinen, men den aktive test der kører nu, behandler en anden tese. Problemet med de her tests er - at der løbende opstår nye teser, og med mindre jeg får nogle af dem behandlet tidligere i forløbet, vil det utvivlsomt følge efterfølgende tests som et "spøgelse".

Jeg kan ikke behandle alle teser på en og samme tid, da de skal grupperes fornuftigt i forhold til det man gerne vil opnå. 

Du har ret i at alle dine teser er interessante, og det er derfor jeg vil prøve så vidt det er muligt at skabe et mere nuanceret syn på sikkerhedsmærker som ex. E-mærket... Du ved jo lige så godt som jeg, at verden aldrig er så sort/hvid som nogle gerne vil male den :) - bare det var så nemt.

-Karsten

Fra Lyngby
Tilmeldt 26. Mar 05
Indlæg ialt: 9713
Fra  DEMIB HOLDINGS ApS Waimea Digital Skrevet kl. 13:43
Hvor mange stjerner giver du? :

Helt enig, Karsten. Og så er problemet jo også, at hvis det er rigtige shops - og det er jo bedst, så vil shop ejeren nok ikke være så vild med at køre for længe med en test-variant som giver virkelig dårlige resultater :)

Fra Århus
Tilmeldt 13. Feb 08
Indlæg ialt: 337
Skrevet kl. 18:50
Hvor mange stjerner giver du? :

Karsten Lund:

Signifikansniveauet er netop problemet. Det har været samme historie for alle de tests der er kørt, at der løbende kommer -tæt-på- 100 i signifikans, men at der altid er "tilbagefald". Jeg vil ikke sige der som sådan er dødt løb, fordi der er en version der i alle tilfælde ligger på toppen, men som er udfordret i forhold til at skabe NOK signifikans til at afslutte testen. 

Jeg har dog et par andre teser, som skal testes, fordi jeg tror godt jeg ved hvad der ligger til grund for denne "kamp". 

-Karsten

Ja, det er vigtigt at have styr på signifikansniveauet. Det skrev jeg også "lidt" om for lidt tid siden her.

Bruger du Google Website Optimizer til at udføre testen? Hvis ja, så forstår jeg ikke helt hvorfor du forsøger at komme op på 100%, da det værktøj (ligesom majoriteten) bruger 95% som signifikansniveau. Men du vil måske bare være ekstra sikker? :)

Du skrev for nogle måneder siden at du havde haft 80.000 igennem testen. Hvor mange er du oppe på nu? Kan du vise nogle screenshots af det foreløbige resultat? Det bliver spændende at se den endelige konklusion.

Fra Århus
Tilmeldt 13. Feb 08
Indlæg ialt: 337
Skrevet kl. 18:53
Hvor mange stjerner giver du? :

Karsten Lund:

Der er test af "dummy sikkerhedsmærke" med i test-pipelinen, men den aktive test der kører nu, behandler en anden tese. Problemet med de her tests er - at der løbende opstår nye teser, og med mindre jeg får nogle af dem behandlet tidligere i forløbet, vil det utvivlsomt følge efterfølgende tests som et "spøgelse".

Jeg kan ikke behandle alle teser på en og samme tid, da de skal grupperes fornuftigt i forhold til det man gerne vil opnå. 

Du har ret i at alle dine teser er interessante, og det er derfor jeg vil prøve så vidt det er muligt at skabe et mere nuanceret syn på sikkerhedsmærker som ex. E-mærket... Du ved jo lige så godt som jeg, at verden aldrig er så sort/hvid som nogle gerne vil male den :) - bare det var så nemt.

-Karsten

Nu bliver jeg da helt forvirret. Hvor mange tests har du færdiggjort og hvor mange regner du med at skulle køre endnu før du drager en konklusion? Jeg havde egentlig forestiller mig at du havde kørt testen som jeg har beskrevet her og bare ventede på at den viste om det havde nogen effekt at vise e-mærket eller ej?

Eller du har måske et helt andet test-setup kørende?

Fra København
Tilmeldt 15. Dec 08
Indlæg ialt: 899
Skrevet kl. 15:44
Hvor mange stjerner giver du? :
Gennemsnit 5.0 stjerner givet af 1 person

Hej Jacob, beklager jeg skrev at den var tæt på 100, det er selvfølgelig noget vås. Det jeg MENTE var at det i perioder har været tæt på at være "signifikant" - endda så tæt (som nævnt før) at google website optimizer (som jeg rigtigt nok bruger) har udråbt en vinder, men kun i 1 dag eller 2, og så er den faldet tilbage igen. 

Jeg kunne derfor "nemt" have malet fanden på væggen, og fortalt at GWO endelig havde fundet en vinder, men lad det være sagt nu allerede. House of kids fordobler ikke omsætningen pga e-mærket. Det er uhyre tæt løb. 

Når jeg skriver der er flere tests, er det fordi der igennem testen er fremkommet nye teser om hvem, og hvornår folk er mest eller mindst overbeviste om at e-mærket er relevant.. og derfor skal man nogle gange sadle om i testen, for netop at udfase eller minimere den mulige påvirkning som en variabel kan have på resten af testen. 

Setup-et er som du har beskrevet i din andet blog indlæg, men jeg tester altid meget nuanceret og i dette tilfælde hvor mange har forskellige interesser i at fortolke et resultat på den ene eller anden måde.. nytter det ikke noget at sjuske med testen. 

Der har været over 130.000 besøgende i de tests jeg har kørt. Jeg ved godt at Google selv siger at 100 til hvert udfald er nok... men det ramte vi allerede 4-5 dage efter start.. så det er ikke der skatten ligger begravet :)

-Karsten

Fra Århus
Tilmeldt 13. Feb 08
Indlæg ialt: 337
Skrevet kl. 21:37
Hvor mange stjerner giver du? :

Ja, du gør nok klogt i at have signifikante resultater hvis du skal til at konkludere om e-mærket kan betale sig eller ej :)

Karsten Lund:

Når jeg skriver der er flere tests, er det fordi der igennem testen er fremkommet nye teser om hvem, og hvornår folk er mest eller mindst overbeviste om at e-mærket er relevant.. og derfor skal man nogle gange sadle om i testen, for netop at udfase eller minimere den mulige påvirkning som en variabel kan have på resten af testen. 

Vil det sige at du har slettet hele testen et par gange og startet helt forfra? Du har nok ret, men for mig at se er det en rimelig sort/hvid situation. Man har e-mærket indbygget i top banneret på siden og viser det til 50% og ser om de konverterer bedre end de 50% som ikke ser e-mærket. For når alt kommer til alt, så skal man alligevel lave en beslutning om man vil betale for at have e-mærket eller ej. Og så er det jo ligemeget om nogle kunder bliver påvirket mere af det end andre - i den specifikke webshop. Du skal jo ende op med en "one-size-fits-all" løsning, som skal virke på alle kunder. Med mindre man vil lave en meget avanceret løsning, hvor man segmenterer trafikken og har forskellige webshop-designs som man viser til forskellige kunder. Men det er jo bare det jeg har evner til at fatte, så jeg vil da gerne høre hvad det er for teser du gerne vil have med i testen :)

Karsten Lund:
Der har været over 130.000 besøgende i de tests jeg har kørt. Jeg ved godt at Google selv siger at 100 til hvert udfald er nok... men det ramte vi allerede 4-5 dage efter start.. så det er ikke der skatten ligger begravet :)

Min erfaring er at 100 konverteringer holder meget godt når man tester store forskelle, hvilket man også bør gøre så vidt det er muligt. Det kan f.eks. være knapper som brugeren skal interagere med og trykke på eller overskrifter/tekster som man ved brugeren vil læse. E-mærket indgår ikke direkte i processen med at handle i en webshop, men ligger mere i baggrunden og skaber troværdighed og vil derfor betyde mindre. De små forskelle der er i denne test vil kræve mange flere konverteringer for at man kan få et signifikant resultat. Men 130.000 besøgende med en konverteringsrate på 1% giver alligevel 7500 konverteringer pr. variant, så det må være tæt på :)

Fra København
Tilmeldt 15. Dec 08
Indlæg ialt: 899
Skrevet kl. 14:19
Hvor mange stjerner giver du? :

*update*

Testen er næsten ved at være færdig, der er ganske få dage (måske en uge) til at jeg endeligt kan begynde at strikke en ret omfattende test sammen. 

Det skal så lige siges, der har været en række tests undervejs, og der har også været en længere periode hvor vi lukkede testen ned. 

Vi mangler kun svar fra 1 test, som nu bare venter på at trække nok konverteringer til at vi tror på signifikans niveauet. 

-Karsten

Fra København
Tilmeldt 28. Nov 08
Indlæg ialt: 2564
Fra  Chili Security Denmark ApS Skrevet kl. 08:30
Hvor mange stjerner giver du? :

Spændende projekt, glæder mig til at se resultatet Smile

Men det lyder da som om at hvis der er meget tæt løb, så skal man op i rigtig mange konverteringer, før det kan betale sig at få de måske få ekstra konverteringer, der kan betale de 1.900 ex. moms (ansøgningsgebyr) + 4.500 ex. moms årligt.

Super godt Yes

Fra København
Tilmeldt 15. Dec 08
Indlæg ialt: 899
Skrevet kl. 14:06
Hvor mange stjerner giver du? :
Side 3 ud af 4 (37 indlæg)