A/B-testing er spennende, givende og lønnsomt, men det er også trøttende at mindre enn halvparten av testene (vanligvis) ikke er i stand til å levere en vinner. 😭 Selv om mange tester gir annen verdifull innsikt.

Så spørsmålet er: Finnes det noen måte å måle resultatene sine på, som gjør at man fanger opp ALLE de positive effektene i ens A/B-testprogram? Jeg tror det.

Let’s talk win rate

La oss starte med å definere problemstillingen vår. En A/B-test kan gi tre typer resultater:

1. Vinnere
2. Uavgjort
3. Tapere

Når man snakker om “win rate”, så mener man den andelen av de totale testene som gir en vinner.

Hvilken win rate skal man forvente seg?

Vi bruker å si at det store flertallet av bedrifter og organisasjoner har en win rate på rundt 30 %. Vi har møtt svært få (hvis i det hele tatt noen) som konsekvent leverer en win rate på over 50 %.

De som tester mye og er veldig flinke til å teste, har også veldig optimaliserte nettsteder, etter flere års kontinuerlig optimaliseringsarbeid. Dette betyr at de har enda vanskeligere for å produsere nye vinnere, ettersom de allerede har melket det meste av potensialet fra nettstedene sine.

Jaha – det var jo ikke særlig kult å høre. Det føles liksom litt tungsinnet å skulle prøve å selge det her med A/B-testing og sikre et fornuftig budsjett med kjernebudskapet om at to tredjedeler av det vi gjør vil mislykkes – hvilken sjef ønsker vel å gå med på det?!

Ja, det var nok en taper, men…

Nå kommer vi til neste steg i resonnementet. Vi bruker også å si at, “Den eneste tapende testen er den du ikke lærte noe av.” Selv om en test til å begynne med gir et negativt resultat, kan den levere ny verdifull innsikt som inspirerer til nye tester, produktutvikling eller noe annet som til slutt leverer et positivt resultat for virksomheten.

Det høres jo bra ut, men…

Når vi så går til sjefen og ber ham om å ikke stirre seg blind på de der vinnerne på rundt 30 %, men i stedet fokusere på alle de andre bra tingene – så er vi ute på tynn is.

Hvorfor det?

Vel, fordi vi har forkynnet “data-drivet” til hele organisasjonen.
– “Slutt med å ta avgjørelser basert på magefølelsen, stol på data.”
Men så kommer vi plutselig og sier at det kun skal gjelde for alt unntatt våre egne resultater, der dataene sier 30 % vinnere, og så prøver vi å fylle på med litt løst snakk som:
– “Joda, men vi lærte mye annet viktig også, da.”

“A/B-testere snakker med en splittet tunge”, tenker så sjefen. Som dette:

Eller kanskje slik:

Så nå har vi et valg. Enten kan vi prøve å endre sjefen, eller så kan vi endre hvordan vi følger opp og presenterer resultatene våre. Og da tenker jeg slik:

“If you can’t change the player, change the game”

5D-rapportering – en ny måte å måle på

I utgangspunktet er problemet vårt at vi har klare resultater i begge ender av vårt spektrum: klare vinnere og klare tapere. Men så har vi mye tvetydighet i midten. Så dersom vi hadde klart å gjøre noen av de tvetydige resultatene mer tydelige, hadde en stor del av problemet vært løst. La oss prøve.

“Den eneste dårlige testen er den du ikke lærte noe av”

I 5D-modellen har vi laget fem klassifiseringer for testresultatene: Direct, Delayed, Discovery, Dead loser og Deferred.

Direct – Et testresultat som viser en direkte vinner. En klar positiv effekt som vi kan implementere direkte. Dette er de omtrent 30 % som vi regner som vinnere i vår originale modell.

Delayed – Dette er en test som ikke gir en vinner ved første forsøk, men vi får en del ideer som vi gjør om til oppfølgingstester som til slutt gir oss en vinner. Alle tester på vei til vår endelige seier regnes ikke nå som tapere, men som “forsinkede vinnere”.

Discovery – Her har vi en test som gir oss en innsikt som vi deretter gjør om til et relatert positivt resultat. Det trenger nødvendigvis ikke være en oppfølgende A/B-test, men egentlig hva som helst med utspring fra testen vår som vi senere kan bruke for å skape en positiv effekt – hvilken som helst.

Dead loser – Dette er en taper som vi ikke har klart å “vekke opp fra de døde”. Uansett hvordan vi prøver å tilpasse og gjøre oppfølgingstester, får vi aldri en vinner. Vi har heller ikke lykkes med å skape andre verdifulle innsikter ut ifra testene. Testen gir oss ingen fornuftige resultater og vi vet ikke hvorfor.

De fire første kategoriene handler mye om hva som er de direkte umiddelbare resultatene av testene våre. Og da ser resultatene våre slik ut:

Flotters, nå har andelen positive resultater økt!

Neste kategori handler om hva som skjer videre.

Mange organisasjoner har problemer med å implementere de positive testresultatene de har skapt. Det kan for eksempel skyldes problemer i IT-avdelingen eller hvordan backloggen prioriteres. Det kan også sees på som at de tester feil ting siden det de tester ikke er “implementerbart”. Derfor handler den siste kategorien om de testene som var vinnere, men som ikke ble implementert.

Deferred – Direct winners som ikke ble implementert i målingsperioden.

Hvordan fungerer det i praksis?

Dette kan virke komplisert, så la oss illustrere med noen konkrete eksempler.

La oss si at du ønsker å teste CTA (Call To Action)-teksten på en av nettsidene dine.

I dag står det “Start abonnement”. Du synes det er litt for lite handling i din CTA, så du vil teste teksten “Kom i gang i dag”. Litt flere hester under panseret og ganske enkelt “her og nå”.

Du tester det og får 10 % færre konverteringer.

Nå tenker du at du kanskje var litt for pågående og kanskje heller burde gjøre tvert om? Kanskje de besøkende har behov for å finne ut litt mer før de tar en beslutning, så du prøver – “Se alternativer”.

Du tester det og får 5 % flere konverteringer – wuhu!

Med den gamle utregningsmetoden ville resultatet ha vært:
Test 1 – Tapere
Test 2 – Vinnere
Win Rate = 50 %

Med den nye utregningsmetoden blir resultatet:
Test 1 – Delayed
Test 2 – Direct
Win Rate = 100 %

Inspirert av suksessen din, bestemte du deg nå for å prøve flere ting. Du vurderer å forenkle skjemaet ved å slette feltet for kundens telefonnummer.

En ting mindre å fylle ut => Høyere konverteringsfrekvens?

Du tester det og ser – ingen forskjell!

Så du bestemmer deg for å beholde feltet. Ingen forskjell i konverteringsfrekvensen, men verdifullt å få kundens telefonnummer – hvis det ikke koster noe ekstra. Dette er et testresultat av typen “Discovery”. Ikke noe direkte resultat i testen, men en påfølgende positiv effekt som et resultat av testen.

Med den gamle utregningsmetoden ville resultatet ha vært:
Test 1 – Tapere
Win Rate = 0 %

Med den nye utregningsmetoden blir resultatet:
Test 1 – Discovery
Win Rate = 100 %

Det vi har gjort med denne nye utregningsmetoden er å endre på kategoriseringen av en del av våre tidligere tapere slik at de nå regnes som vinnere i stedet for den uklare “en taper, men…”.

Nye mål for testprogrammet ditt

Vi har nå anskaffet oss en ny utregningsmetode. Neste trinn blir å sette nye mål for arbeidet vårt. Tidligere var målet vårt: “Høyest mulig win rate”. Det er det fortsatt – vi har bare lagt til en ny måte å regne ut vinnerne våre på.

Men jeg synes det blir enda mer interessant hvis vi snur helt om på det og sier at den høyeste win rate er det samme som lavest mulig “lose rate” – nå som våre tapere kun er “Dead losers”.

Tenk litt på det. Vil det være noen forskjell hvis du jobber med å:

1. Maksimere antall “Direkte vinnere” (i henhold til vår gamle definisjon)

   eller

    
2. Minimere antall “Dead losers”, dvs. testene som vi ikke får noe ut av.

Jeg er ganske sikker på at to testprogrammer som strever etter disse to ulike målene, vil komme til å se ganske ulike ut.

Så de nye målene dine er nå:

Mål 1: Minimere andelen “Dead losers”

Og det andre målet handler om din “implementation rate”, dvs. hvor mange av dine direct wins som faktisk blir implementert.

Mål 2: Maksimere andelen implementerte “Direct wins”

Vi håper at denne nye utregningsmåten og oppfølging av suksessene dine kan føre til enda flere suksesser – og fremfor alt en tydeligere måte å kommunisere på i organisasjonen din og en bedre forståelse av optimaliseringsarbeidet.

Ikke nøl med å kontakte meg og oss hvis du er enig, eller enda mer interessant – ikke er enig – eller bare ønsker å diskutere denne modellen.