4 saker som kan gå fel i ditt experimentprogram

John Ekman

I två tidigare bloggposter har vi undersökt vikten av att arbeta experimentbaserat för att fånga förändringskraften under och efter pandemin. Men även om vi är taggade och sätter igång kan det gå fel. Och det vill vi ju inte. Så läs vidare för att lära dig undvika de allra vanligaste felskären.

Varför inte börja med att definiera vad ett experimentprogram är?! Vi brukar säga att vem som helst kan göra ett A/B-test, men väldigt många färre organisationer är duktiga på att arbeta experimentbaserat över hela organisationen och konsekvent leverera insikter över tid.

Du behöver en tydlig process och en metodik. Du behöver buy-in från management. Du behöver verktyg och IT-resurser. Du behöver kompetenta kollegor som kan utforma robusta experiment och sedan analysera utfallet. Och det är just här som det kan gå fel på det första sättet:

1. Du blir överväldigad = kommer inte igång

Alla de där sakerna vi tog upp verkar ju bara för mycket. – ”Det här kommer att bli dyrt och jobbigt. I vilken ände ska vi börja? Kanske lika bra att vänta….”

Och så kommer du inte igång. Och alla de positiva effekterna av att arbeta experimentbaserat uteblir. Då kan det låta ungefär så här:
– ”Det är inget för oss. Det blir för dyrt. Vi har annat vi behöver prioritera.”

Det är ALRIG fel att börja med några enkla A/B-tester. Pröva sina vingar. Göra några misstag. Få några quick wins. Väcka lite nyfikenhet och entusiasm. Få lite mer budget. Och så är det igång. Grattis!

Jag säger att det aldrig är fel att arbeta på det här sättet. Det är det verkligen inte. Men det kan fortfarande gå fel ändå. För nu kommer vi till problem nummer 2.

2. Du fastnar = kommer inte vidare

Vi är alla barn i början. Därför kommer du att göra de flesta klassiska nybörjarmisstagen. Det är ok. Det som inte är ok är att inte lära sig av dem och komma vidare från kryp- till gå-stadiet.

I början är det lätt att testa. Ok – det är en massa teknik- och analysprylar du måste lära dig, men den goda nyheten är att de allra flesta har ganska många lågt hängande frukter att plocka i början. Och när du tagit dem och ser resultaten blir du hjälten på jobbet. Wohoo!!

Så småningom tar de där frukterna slut och nu börjar det bli svårare att visa upp resultat på 10, 20 eller kanske 30 procents förbättring. Nu kommer du ner på 1-2-3 procent och då är det inte lika kul längre.

Du har ägnat dig åt det som vi brukar kalla shotgun testing. Du sprejar testidéer lite hej-vilt och flera av dem verkar fungera tillräckligt bra. Så varför göra på något annat sätt?

Annat populärt namn på denna fas:

Throw something on the wall and see if it sticks.

Troligen har du också begått några analysmisstag och implementerat det du trodde var vinnare – men som i själva verket var förlorare. Och nu kommer dina kollegor tillbaka till dig och undrar var de utlovade resultatförbättringarna tog vägen?! Du vet inte vad du ska svara. Smekmånaden är över.

Här är det lätt att ge upp och konstatera att:

”A/B-testning är inte någonting för oss. Det funkar säkert för andra, men vi tror inte att det är rätt grej för oss eftersom vår verksamhet är speciell”. Typ.

Här kommer så ett sanningens ögonblick. Trots att resultaten är vikande måste ni övertyga de som sitter på pengarna att det nu är dags att satsa mer. Inte mindre. Inte alla experimentteam som överlever här.

Dags att lösa problem nummer 3.

3. Du prioriterar efter Ease . . .
och tappar bort Impact

Det du nu har gjort (sannolikt utan att tänka på det) är att du bara jobbat på den ena änden av prioriteringsskalan.

Den enklaste typen av prioriteringsmodell, som vi alla använder varje dag, är insats kontra belöning, cost vs. benefit. Vad måste jag göra och vad får jag tillbaka.

När vi satsar på att plocka alla lågt hängande frukter så väljer vi implicit att bara göra de saker som är enkla – låg kostnad, låg insats, hög ease. I den andra änden av skalan som heter ”vad får jag tillbaka” eller ”impact”, där har du kanske inte jobbat alls.

Det som då händer är att när du plockat dina lågt hängande frukter, så avtar impact. I början hade du tur och fick impact lite här och där med dina ”shotgun tests”. Du gjorde ganska många test, så visst var det några, eller kanske flera, som levererade bra resultat. Men nu när din ”ease” håller på att ta slut vet du inte vad du ska leta efter – eller var.

Det är nu som det blir experimentering på allvar. Hittills har du kunnat klara dig rätt så bra utan specifika kunskaper inom optimering. Mest har det handlat om att kunna verktygen, koda testscripten rätt osv. Men nu måste du på allvar lära dig den svåra konsten att inte bara testa på rätt sätt, utan framförallt att testa rätt saker. Eller som en av  de riktiga tungviktarna på området, Peep Laja på CXL, säger:

The most difficult part: The discovery of what really matters.

För att ta sig till detta nästa kritiska steg måste man börja djupdyka i att:

  • Förstå sina kunders beteende (webbspsykologi)
  • Hur man upptäcker beteenden (med kvantitativa data och kvalitativa användningsstudier)
  • Hur man formulerar robusta hypoteser, och sist men inte minst
    att lära sig
  • En strukturerad prioriteringsmetod.

Webbpsykologi och dataanalys lär du dig bäst på någon av de bloggar som finns på ämnet, t.ex. hos CXL, Widerfunnel, eller genom att följa vår egen blogg. Om du snabbt vill komma upp på proffsnivå rekommenderar jag vår egen utbildning, Conversion Manager, som vi kör terminsvis.

För att lära dig formulera hypoteser föreslår jag att du använder vår hypotesformel.

Vill avsluta med att lyfta en prioriteringsmetod eftersom vi kommit till en sista och fjärde punkt i det som kan gå fel i ditt experimentprogram.

4. Ingen bryr sig om dina resultat

Säg att du nu lyckats få kläm på att hitta tester som ger hög impact. Du är till och med rätt stolt över att du kan tillkännage 5, 10 eller 15 procents förbättring i dina tester. Ändå är det få eller ingen som bryr sig. Dina kollegor har svårt att se affärsresultatet av de ändringar som dina tester föreslår.

Då är det dags att ta nästa steg med din prioriteringsformel.

Hittills har vi alltså tittat på Ease och Impact. Problemet här är att du kan ha en grym Impact på ett ställe som inte spelar någon roll för din affär. Du har 30% fler som använder din sökfunktion, men inga fler köp. 20% fler som använder din priskalkylator, men det lyfter inte din affär.

För att komma förbi problemet föreslår vi att du använder dig av den PIE-modell som tagits fram av vår kanadensiska partner, WiderFunnel.

Nu delar du upp Impact i Potential och Importance. Potential är vilken lokal förbättring du kan uppnå (5-10-15%) och Importance är hur viktig förändringen är för dig i relation till dina affärsmål.

En viktig effekt som uppstår när du börjar arbeta på det här sättet är också att du nu måste börja prata med dina kollegor för att verkligen förstå vad som de facto är era viktigaste mål (så att du kan fokusera på just dessa).
När du ligger nära era viktigaste och mest prioriterade projekt då ökar också chansen att det du gör uppmärksammas som en viktig del i företagets tillväxtstrategi.

Det du absolut INTE vill är att era STORA OCH VIKTIGA projekt inte drivs utifrån en experimentbaserad och datadriven strategi och att de istället drivs på ”good old fashion magkänsla”. Och att det du gör förpassas till en experimentverkstad i källarplan där du får pyssla med den nuvarande sajten medan innovationsteamet tar hand om och styr era tillväxtprojekt.

Hoppas att något av det vi lyft kan hjälpa dig i arbetet framåt – om du nu känt att du fastnat i någon av de fallgropar vi diskuterat här.


Vill du ta en digital fika? Kontakta oss gärna på [email protected] 👋🏻

Läs även

Conversionista is open for business in The Netherlands.
Conversionista is open for business in The Netherlands. Read more.