4 ting som kan gå galt med ditt eksperimenteringsprogram

John Ekman

I to tidligere blogginnlegg har vi undersøkt viktigheten av å jobbe eksperimentelt for å fange opp endringskraften under og etter pandemien. Men selv om vi er ivrige og kommer i gang, kan ting gå galt. Og det ønsker vi jo ikke. Så les videre for å lære hvordan du kan unngå de vanligste feilene.

Hvorfor ikke starte med å definere hva et eksperimenteringsprogram er?! Vi bruker å si at alle kan utføre en A/B-test, men det er absolutt mange færre organisasjoner som er flinke til å jobbe eksperimentbasert på tvers av organisasjonen og konsekvent levere innsikt over tid.

Du trenger en tydelig prosess og en metodikk. Du trenger godkjennelse fra ledelsen. Du trenger verktøy og IT-ressurser. Du trenger kompetente kolleger som kan designe robuste eksperimenter og deretter analysere resultatene. Og det er nettopp her ting kan gå galt på den første måten:

1. Du blir overveldet = kommer ikke i gang

Det blir rett og slett for mye med alle de der tingene vi nevnte. – “Dette kommer til å bli både dyrt og vanskelig. Hvilken ende skal vi begynne i? Kanskje like greit å vente… ”

Og dermed kommer du ikke i gang. Og alle de positive effektene du får ved å jobbe eksperimentbasert uteblir. Da kan det høres ut som dette:
– “Det er ikke noe for oss. Det blir for dyrt. Vi har andre ting vi må prioritere.”

Det er ALDRI feil å starte med noen enkle A/B-tester. Prøve vingene. Gjøre noen feil. Få noen quick wins. Vekke litt nysgjerrighet og entusiasme. Øke budsjettet litt. Og så er det i gang. Gratulerer!

Jeg mener at det er aldri feil å jobbe på denne måten. Det er det virkelig ikke. Men det kan fortsatt gå galt. For nå kommer vi til problem nummer 2.

2. Du blir sittende fast = kommer ikke videre

Vi er alle barn i begynnelsen. Derfor vil du komme til å begå de fleste klassiske nybegynnerfeilene. Men det er helt greit. Det som derimot ikke er greit, er å ikke lære av dem for å komme seg videre fra det krypende til det gående stadiet.

I begynnelsen er det lett å teste. Ok, så er det er en hel masse tekniske og analytiske greier du må lære deg først, men den gode nyheten er at de fleste av dem har til gjengjeld ganske så mange lavthengende frukter å høste allerede i begynnelsen. Og når du har plukket dem og ser resultatene, vil du bli helten på jobben. Woohoo!

Etter hvert vil disse fruktene bli færre og færre, og det begynner å bli vanskeligere å vise fram resultater på 10, 20 eller kanskje 30 prosent forbedring. Du er plutselig nede på 1-2-3 prosent og da er det ikke like gøy lenger.

Du har engasjert deg i det vi bruker å kalle for shotgun-testing. Du skyter en masse test-ideer i hytt og vær, og flere av dem ser ut til å fungere rimelig bra. Så hvorfor gjøre det på en annen måte?

Et annet populært navn for denne fasen:

Throw something on the wall and see if it sticks.

Mest sannsynlig har du også begått noen analysefeil og implementert det du trodde var vinnere – men som i virkeligheten var tapere. Og nå kommer kollegene dine tilbake til deg og lurer på hvor det ble av resultatforbedringene du hadde lovt dem?! Du vet ikke helt hva du skal svare. Bryllupsreisen er brått over.

Her er det lett å gi opp og konstantere at:

“A/B-testing er ikke noe for oss. Det fungerer sikkert for andre, men vi tror ikke det er det rette for oss siden vi har en litt spesiell virksomhet.” Eller noe i den duren.

Her kommer sannhetens øyeblikk. Selv om resultatene forringes, må du overbevise de som sitter med pengene om at det nå er på tide å investere mer. Ikke mindre. Ikke alle eksperimenteringsteam overlever her.

På tide å løse problem nummer 3.

3. Du prioriterer “ease”
…og mister “impact”

Det du nå har gjort (sannsynligvis uten å tenke på det) er at du har jobbet kun i den ene enden av prioritetsskalaen.

Den enkleste typen prioriteringsmodell, som vi alle bruker hver dag, er innsats kontra belønning, kostnad kontra fordel. Hva må jeg gjøre og hva får jeg igjen for det?

Når vi satser på å plukke alle lavthengende frukter, velger vi implisitt å gjøre kun de tingene som er enkle – lave kostnader, lav innsats, høy “ease”. I den andre enden av skalaen kalt “hva får jeg igjen for det” eller “impact”, har du kanskje ikke jobbet i det hele tatt.

Det som skjer da er at når du har plukket dine lavthengende frukter, avtar impact-en. I begynnelsen var du heldig og fikk impact litt her og der med “shotgun-testingen” din. Du utførte ganske mange tester, så selvfølgelig var det noen, eller kanskje flere av dem, som ga gode resultater. Men nå som din “ease” holder på å ta slutt, vet du ikke lenger hva du skal se etter – eller hvor.

Det er nå den virkelige eksperimenteringen starter. Hittil har du klart deg ganske bra uten spesifikk kunnskap om optimalisering. Det har handlet mest om å kunne bruke verktøyene, kode testskriptet riktig osv. Men nå må du på alvor lære deg den vanskelige kunsten å ikke bare teste på den rette måten, men fremfor alt å teste de riktige tingene. Eller som en av de store tungvekterne innenfor dette feltet, Peep Laja på CXL, sier:

The most difficult part: The discovery of what really matters.

For å komme til dette neste kritiske trinnet, må man begynne å dykke dypere ned i det å:

  • Forstå atferden til kundene sine (Internet-psykologi)
  • Hvordan oppdage atferden (med kvantitative data og kvalitative bruksstudier)
  • Hvordan formulere robuste hypoteser, og sist men ikke minst
    å lære seg

  • En strukturert prioriteringsmetode

Internet-psykologi og dataanalyse lærer du best på noen av bloggene som finnes om emnet, f.eks. på CXL, Widerfunnel eller ved å følge vår egen blogg. Hvis du ønsker å komme kjapt opp på profesjonelt nivå, anbefaler jeg vår egen opplæring, Conversion Manager, som vi holder semestervis.

For å lære deg å formulere hypoteser, foreslår jeg at du bruker hypoteseformelen vår.

Jeg vil avslutte med å framheve en prioriteringsmetode ettersom vi har kommet til det siste og fjerde punktet i det som kan gå galt med ditt eksperimenteringsprogram.

4. Ingen bryr seg om resultatene dine

La oss si at du nå har klart å få taket på å finne tester som gir høy impact. Du er til og med ganske stolt over å kunne kunngjøre en forbedring på 5, 10 eller 15 prosent i testene dine. Likevel er det få eller ingen som bryr seg. Kollegene dine synes det er vanskelig å se forretningsresultatene av endringene som testene viser.

Det er derfor på tide å ta neste skritt i prioriteringsformelen din.

Så langt har vi altså sett på “ease” og “impact”. Problemet her er at du kan ha en helt sinnsykt bra impact på et sted som ikke betyr noe for din virksomhet. Det er 30 % flere som bruker søkefunksjonen din, men ikke flere kjøp. 20 % flere som bruker priskalkulatoren din, men det hjelper ikke virksomheten din.

For å omgå problemet, foreslår vi at du bruker PIE-modellen utviklet av vår kanadiske partner, WiderFunnel.

Nå deler du opp “impact” i de to gruppene “potential” og “importance”. Potential er hvilken lokal forbedring du kan oppnå (5-10-15 %) og importance er hvor viktig endringen er for deg i forhold til dine forretningsmål.

En viktig effekt som oppstår når du begynner å jobbe på denne måten er også at du nå må begynne å snakke med kollegene dine for å virkelig forstå hva som faktisk er deres viktigste mål (slik at du kan fokusere på nettopp disse).
Når du er i nærheten av de viktigste og mest prioriterte prosjektene deres, øker også sjansen for at det du gjør blir lagt merke til som en viktig del av selskapets vekststrategi.

Det du absolutt IKKE ønsker er at de STORE OG VIKTIGE prosjektene deres ikke kjøres på bakgrunn av en eksperimentbasert og datadrevet strategi, men i stedet på “god gammeldags magefølelse”. Og at dine oppgaver kun består av å sysle med deres nåværende nettsted i et eksperimenteringsverksted på kjellernivå, mens innovasjonsteamet tar seg av og styrer bedriftens vekstprosjekter.

Håper noe av det vi har belyst kan hjelpe deg i ditt arbeid framover – hvis du føler at du sitter fast i en av fallgruvene vi har diskutert her.


Lyst til å ta en digital kaffe med oss? Kontakt oss gjerne på [email protected] 👋🏻

Se også disse blogginnleggene