Covid vände upp och ner på många planer, inte minst de digitala och företags experimentprogram och A/B-tester. I den här bloggposten tittar vi på hur de bästa gjorde före och under pandemin, för att vända utmaningen till sin fördel och hur de förbereder sig för att kunna skapa långsiktig framgång i livet efter pandemin.
Den första delen av den här bloggposten handlade om:
- Hur konsumenter utvecklar nya vanor under kriser och perioder av förändring.
- Hur de nya vanorna kvarstår.
- Och hur företag kan nyttja förändringskraften för att skapa långvarig framgång.
Vi kom fram till att förändringarna sker men att det kan vara svårt att upptäcka dem, och förstå vad de innebär just för din affär. Nyckeln till att upptäcka dem är vad vi kallar för ett experimentbaserat arbetssätt.
Data som kommer ur dina experiment blir nya hypoteser som du gör nya experiment på, och så vidare.
Upptäcka och agera i tre steg
Det finns många olika modeller för en agil och experimentbaserad organisation – den vi använder kallas optimeringshjul. Om vi ska förenkla processen kan man säga att det handlar om tre steg:
- Samla observationer och data på förändringar i konsumentbeteenden.
- Utveckla hypoteser och bygga snabba prototyper.
- Validera product/market fit och business cases genom kontrollerade experiment.
Och det här måste du såklart göra i en ”never ending loop” där data som kommer ut ur dina experiment blir nya hypoteser som du gör nya experiment på, och så vidare.
De tre komponenter du behöver här är alltså Data, Hypoteser och Experiment. Om du tappar någon av delarna faller modellen.
- Utan data blir dina hypoteser ”något som du såg konkurrenten göra” eller ”något som marknadschefen tyckte var en bra idé”. Dömt att misslyckas.
- Om du inte lyckas med att formulera robusta hypoteser vet du inte vad dina experiment ska bevisa, och du vet inte när du har ett lyckat resultat eller en #EpicFail.
- Slutligen, om du inte jobbar med experiment, kommer du lägga massor med tid på att utveckla och lansera produkter och tjänster som i bästa fall framkallar en gäspning och i värsta fall blir något ni måste backa er ur (kanske med svansen mellan benen).
Men hallå – de flesta experiment är ju förlorare
När man jobbar med A/B-testning pratar man ofta om ”Win rate”. Det är den andel av dina experiment som är vinnare, dividerat med det totala antalet experiment.
Den trista sanningen är att trots all data, alla insikter och alla välformulerade hypoteser så lyckas de flesta organisationer inte åstadkomma en win rate på mycket över 30% på lång sikt. 2 av 3 tester är alltså ”misslyckade”. Då är det lätt att fråga sig:
Varför ska vi avsätta dyrbar tid och resurser till en verksamhet bara lyckas en gång på tre?
Svaret på den frågan är att ni måste se det på det exakt omvända sättet. Utan ett experimentprogram så misslyckas 2/3 av det ni gör – Det är bara det att ni, utan ett experimentprogram, inte har en metod för att upptäcka det i tid, och värdera de ekonomiska konsekvenserna av era ”misslyckanden”.
Du lanserar tjänster som i bästa fall framkallar en gäspning eller i värsta fall en katastrof som ni måste backa ur med svansen mellan benen
Renligt eller säkert – var skulle du vilja bo?
Ofta är det ju ”helt uppenbart” vad man borde göra, men som det här exemplet visar är det lätt att gå fel. Om man inte upptäcker felskären genom experiment så lanserar man de facto saker som skadar den egna affären.
Det här är ett case från våra branschkollegor i Nederländerna – Online Dialogue. Man arbetade med ett vandrarhem där målet var att öka bokningarna på sajten. I sitt insiktsarbete hade man kommit fram till att säkerhet var en viktig faktor för gästerna. Pretty straight forward, eller hur? Bara att betona hur säkert hotellet är på bokningssidan, så borde bokningarna öka. Hur svårt kan det vara?
Man lade helt enkelt till en panel som visade en säkerhetsrating för hotellet. Men eftersom man arbetade experimentbaserat gjorde man så klart ett A/B-test som visade att den nya varianten ledde till ett MINSKAT antal bokningar – WTF!
Man kom fram till att när man EXPLICIT pratade om säkerhet började besökarna reflektera över säkerhetsaspekter, dvs oroa sig, vilket ledde till minskningen. Hypotesen blev då att istället kommunicera IMPLICIT om säkerhet. Till exempel genom att prata om något som är relaterat till säkerhet, så att man kunde få upp säkerhet på agendan utan att samtidigt oroa besökaren. Man kom fram till att renlighet borde vara en proxy för säkerhet. Typ – ” Ett hotell som är väldigt rent borde också vara ganska säkert, eller hur?”.
Man lanserade ett nytt test med den nya hypotesen och nu kunde man se en positiv effekt.
Själva poängen är att det som ofta ser ut som en total no-brainer, i många fall har någon liten detalj som vi inte tänker på. Om vi inte validerar våra hypoteser via kontrollerade experiment kommer vi inte att upptäcka de här effekterna.
Kom förberedd – var försäkrad
Under pandemin har vi märkt att de av våra kunder som redan INNAN pandemin hade ett kontinuerligt insiktsarbete för att löpande förstå sina kunders beteende OCH använde experiment för att validera och bevisa sina hypoteser hade lättare att anpassa sig. Kanske inte raketforskning direkt att det blev så, men ändå viktigt att poängtera att ett experimentbaserat arbetssätt är en bra försäkring för att upptäcka skiftningar i hur kunderna ser på dina tjänster – särskilt när det sker snabbt.
Coop & ICA testar nya butikskoncept
Två av våra kunder där vi arbetat länge med experimentprogram är Coop & ICA. Bägge kunde relativt snabbt lansera dedikerade slottar i butik där pensionärer kunde handla med mindre trängsel och lägre smittorisk. Som du märkte sa vi ”relativt snabbt”. Alla kan ju såklart lansera en sån tjänst, men här vara det kritiskt att kunna göra det snabbt OCH att träffa rätt vid lansering .
På ett företag som INTE arbetar experimentbaserat kan de låta så här:
- ” Vi måste få upp pensionärsslottar så fort som möjligt. Och rulla ut det överallt där vi kan. Det är ju en no-brainer, kunderna har ju frågat efter det. Just do it.”
På ett företag som har ett löpande experimentprogram som slår igenom i alla led kan det låta såhär:
- ” I vårt insiktsarbete har vi kommit fram till att dedikerade pensionärsslottar är efterfrågade. Det ligger också i linje med våra värderingar att ta en aktiv och ansvarstagande roll i samhället.
- Vi vet inte exakt hur den här tjänsten ska utformas för att passa målgruppen, så vi lanserar ett antal kontrollerade experiment för att skapa fördjupade insikter och utvärdera försäljningsdata, så att vi i slutändan kan lansera en tjänst som både tillfredsställer målgruppen men också är ekonomiskt sund.”
Ser du skillnaden?
Ett experimentbaserat arbetssätt är en bra försäkring för att upptäcka skiftningar i hur kunderna ser på dina tjänster
Avslutningsvis – lite KPI-tänk
Om du nu vill arbeta på det här sättet är det värt att fundera på vilka KPIer som ska styra ditt arbete. Och du har tre mål:
- Du vill kunna upptäcka förändringar i konsumentbeteende så snabbt som möjligt.
- Du vill kunna validera dina hypoteser så att du vet att de får den avsedda effekten.
- Du vill kunna implementera den validerade hypotesen så snabbt som möjligt.
På en tidslinje skulle det kunna se ut så här:
Du har nu alltså tre nya KPIer:
- Tid till insikt
- Tid till validerad hypotes
- Tid till implementerad hypotes
Krångligt med tre KPIer? Kanske bättre med bara en? Det är ju också så att ”Tid till insikt” kanske är lite för hypotetisk. Hur kan man veta när det nya beteendet inträffade och hur lång tid det tog innan man upptäckte det? Man känner ju inte till beteendet innan man upptäckt det, eller hur?
Så din nya KPI blir då: Tid från insikt till implementerad hypotes.
Vår erfarenhet är att de flesta företag skulle kunna mäta denna KPI, datan finns där, men det är ingen som samlar in den och strukturerar den på ett sätt som gör att den blir tydligt och lätt att följa upp på.
Om vi jämför att jobba med eller utan den här typen av KPI-tänk kan vi se att MED så går vi från insikt till implementerad hypotes på X veckor i genomsnitt och UTAN så går vi från insikt till några fallerade lanseringar och ett MEH?! på oklart lång tid.
Få med alla på tåget
Det fina (och även lite jobbiga) med denna KPI är att den oftast rör flera olika delar i organisationen:
- De som arbetar med insiktsarbetet
- De som arbetar med experiment
- De som implementerar (IT?)
Ibland kan alla finnas samlade i ett team men oftast är de utspridda över flera team eller delar av organisationen.
Det problem som vi vill lösa är att se till att hela kedjan håller ihop – inte brister.
- Det spelar ingen roll hur mycket insikter vi samlar in om vi inte kan validera hypoteser genom experiment.
- Det spelar ingen roll hur många framgångsrika experiment vi genomför om vi inte kan få in dem i utveckling och produktion.
Vi hoppas att vi givit dig någon inspiration i arbetet med att landa i rätt position för livet efter pandemin. I kommande bloggpost ska vi kika på några saker som lätt kan gå fel – och hur man tar sig förbi dem.
Stay tuned.
