Hur påverkar Covid-19 din A/B-testning?

Andreas Almqvist Gref

Innan vi pratar om vad man bör tänka på när man experimenterar under denna annorlunda period så vill vi utfärda en rekommendation. Snälla, utnyttja inte människors oro för att kränga grejer de inte behöver! Konverteringens första lag, “Konvertering sker när dina och dina besökares mål möts”, är helt ur spel om den starkaste drivkraften inte längre är behov utan PANIK. 🚨

För dig som ändå tänker att man kanske kan utnyttja situationen så ber vi dig fundera på följande: När det här är över, tror du att det kan påverka försäljningen att folk förknippar ert varumärke med skamlösa försäljningsmetoder?

Okej, då tar vi oss vidare till det du nog kom för att läsa om:

🦠Kan jag köra experiment nu när allting är så annorlunda?
🦠Om jag kan det, är det något jag ska tänka på?

I grund och botten gäller samma sak nu som gäller för dig som annars har stora variationer i trafik och försäljning beroende på säsong. Om beteendet är olika i olika perioder så kan effekten som man ser i ett experiment vara olika i olika perioder.

Vi tycker alltid att man ska köra experiment ändå, men man ska också vara medveten om att det man lär sig under en sån period inte nödvändigtvis gäller senare. Så det väldigt korta svaret på frågorna ovan kommer här i form av en strategi i tre steg:

  1. Kör på med experiment och optimera
  2. Dokumentera allting noggrant
  3. Återtesta de förändringar som hade störst effekt efter den här perioden är över

Mer eller mindre idiotsäkert.. 😉

Nu behöver du faktiskt inte läsa längre. Om du inte vill ha lite mer djup förstås.

Fortfarande kvar här? Kul, let’s get nerdy!

Hur ska jag analysera?

Om din sajt just nu har mer trafik så kan det faktiskt vara ett guldläge för experiment, då mer trafik kan göra att en effekt som annars inte skulle gå att upptäcka nu klättrar över gränsen och blir statistiskt signifikant. Om det omvända har hänt – att din trafik gått ned – kan det förstås vara dystrare på experimentfronten. Mindre trafik betyder i allmänhet att det blir svårare att uppmäta en effekt.

Om du inte lider av ett stort tapp i trafik och konvertering, sluta för Coronas skull inte experimentera nu! Det här är ju värsta chansen för både tillväxt och lärdomar.

Om du inte lider av ett stort tapp i trafik och konvertering, sluta för Coronas skull inte experimentera nu!

Vad ska vi fokusera på då? Genom att analysera tre olika faktorer så kan vi försöka skapa oss en bättre bild av vad det är som har förändrats och hur det eventuellt påverkar vilka hypoteser vi vill testa.

  • Trafik
  • Konverteringsgrad
  • Segment.

Så här bör analysen göras: Ta fram trafik och konverteringsgrad brutet på dina relevanta segment för den senaste perioden och för en period med normal trafik (kanske samma period förra året). Relevanta segment kan förstås skilja sig åt, men nya vs återkommande besökare kan definitivt vara intressant att titta på nu. Trafiken kan gå upp, ned eller stå still och konverteringsgraden kan gå upp ned eller stå still.

Nu vill vi hitta ett generellt mönster när vi analyserar som hjälper oss att förstå vilken förändring vi har. En bra gissning nu är att om konverteringsgraden inte förflyttat sig, nämnvärt, så har heller inte det generella beteendet förändrats. Check, good to go, bara att experimentera som vanligt.

Har konverteringsgraden generellt gått ned men står still för återkommande besökare samtidigt som trafiken för nya besökare ökat? Då kanske dina nya besökare behöver hjälp att förstå vad du erbjuder eller hjälp att slutföra köpet, nästa steg blir att kolla var i funneln just dom besökarna faller av.

Okej, två exempel klara.. Ni fattar tänket, öppna en ny flik och påbörja ER analys.

Inte analyssugen än? Läs lite till då.

(Eller vill du kanske att vi ska hjälpa dig med analysen? Skriv till mig [email protected])

Nya vanor, nya kunder!

För en del branscher kommer det vara helt uppenbart att saker är annorlunda. Säljer du kanske apoteksvaror online? Då har du kanske både mer trafik och högre konverteringsgrad, kanske också många nya kunder?

Mycket tyder på att beteendeförändringen som nu sker kommer att bli permanent, många kunder som söker sig online nu kommer inte komma tillbaka till offline. Har du alltså mer trafik framförallt från nya besökare, wow, vilket läge, du måste göra allt för att just du får nya stammisar och inte dina konkurrenter!

Mycket tyder på att beteendeförändringen som nu sker kommer att bli permanent, många kunder som söker sig online nu kommer inte komma tillbaka till offline

Har du en ökning av antalet nya besökare så kan det vara en god idé att satsa extra på experiment som hjälper nya besökare att bli kunder. Allt som vinner i experiment nu kanske inte funkar sen, lösningen på det problemet finns i punkt 3 i strategin ovan.

Några rader om utspädning

Om din sajt har mer trafik nu så är den största risken med att köra experiment att du inte upptäcker en effekt som du skulle ha upptäckt om du hade din vanliga trafik. En sorts utspädningseffekt som statistiskt får ditt experiment att “snubbla på mållinjen”. Om du alltså får en vinnare nu så skulle det kunna vara så att du ser en större effekt under normala trafikförhållanden. Så om du får ett resultat som är insignifikant men det pekar åt det positiva hållet så kan det vara värt att spara det experimentet och köra det igen efter pandemikaoset är över.

Men VAD ska jag testa då?

En sak först: Kom ihåg att det bara är ett experiment. Du ska våga testa grejer. Nu är verkligen ett intressant tillfälle att tänka utanför lådan och prova något nytt, en större förändring. Tillbaka till frågan, vad ska jag testa?

En indelning i olika typer av experiment kan hjälpa här, vi delar ofta in experiment i två huvudgrupper. Förändringar som är tänkta att motivera besökaren och förändringar som gör det enklare för besökaren att göra det den tänkt. Till exempel, lägg till meddelanden som hjälper besökaren att fylla i ett formulär på rätt sätt kan minska friktionen. Lägg till copy som förklarar varför produkten kommer att göra livet bättre kan öka motivationen.

Till exempel, lägg till meddelanden som hjälper besökaren att fylla i ett formulär på rätt sätt kan minska friktionen. Lägg till copy som förklarar varför produkten kommer att göra livet bättre kan öka motivationen.

Om den förändring du vill testa framförallt handlar om att minska friktionen så kommer du antagligen att se samma tendens nu som i normalläge. Alltså den situationen som vi är i nu kan mycket väl påverka motivationen hos användare och vad som fungerar som motivation MEN den borde inte påverka friktion (i alla fall inte lika mycket). Så det säkraste att satsa på, om man vill att det vi ändrar på nu ska få ligga kvar på sajten sen, är experiment som fokuserar på friktion.

Om den förändring du vill testa handlar mer om att öka motivation så kan det bli knepigare. Kanske är dina besökare ovanligt motiverade just nu och påverkas alltså inte av mer motivation, köpet är redan klart, vi behöver bara se till att inte stå i vägen. Eller kanske kan det vi säger nu fungera som motivation men det kommer verkligen inte fungera i normalläge. Experiment med fokus på motivation bör antagligen köras om igen oavsett resultat när detta är över.

Äh, ska vi inte bara ta det sen? / Varning för sarkasm

Jaha, är det inte onödigt att experimentera nu då om jag måste göra om det sen? Jo, det är klart, bättre att bara sätta sig och stirra på sina dashboards och hoppas att vi har några marknadsandelar kvar efter corona!

Lycka till med testandet! 👋

Läs även