De 21 vanligaste kundfrågorna om A/B-testning du inte vill missa

Som konverteringspecialister får vi massor av frågor från våra kunder när det gäller A/B-testning. Roligt tycker vi såklart då A/B-testning är en av de effektivaste metoderna för att driva långsiktig tillväxt i ditt företag.

I det här blogginlägget hittar du de vanligaste frågorna vi får från våra kunder om A/B-testning – och svaren på dem.

Det här kommer du lära dig:

✅Hur A/B-tester hjälper dig skapa långsiktig tillväxt i ditt företag
✅Hur du hanterar de vanligaste A/B-testutmaningarna
✅Misstagen du verkligen vill undvika

Då kör vi!

1. Måste jag göra A/B-tester?

Såklart du måste! Hur ska du annars veta om du tjänar eller förlorar pengar? Eller vad som är viktigast för dina kunder? Harvard Business Review uttrycker det såhär, och vi håller med.

Kontrollerade experiment kan förvandla beslutsfattande till en vetenskaplig, evidensdriven process – snarare än en intuitiv reaktion

Om du implementerar flera ändringar på din webbplats utan att testa dem först kan det sluta med utebliven eller till och med negativ effekt på dina KPIer. Och du kommer dessutom inte veta vilka förändringar som skapade positiva resultat och vilka som skapade negativa dito, då det är omöjligt att se orsakssamband mellan de insatser du gör och dess effekt. Grogrund för en ordentlig huvudvärk med andra ord.

A/B-testning är en utmärkt metod för att validera effekten av en förändring du vill göra. Experiment ger dig möjligheten att prioritera de investeringar som ger störst påverkan på ditt företags mål. En bra grej tycker vi!

Fortfarande skeptisk? Kolla in fråga 11 – där har du ett riktigt tungt argument.

2. Hur mycket trafik behöver jag?

Din mängd konverteringar är avgörande. En konvertering kan tex vara en order i en e-handel eller ett lead till sälj. Men en bra tumregel är ett par hundra konverteringar per variant (variant = sidan som innehåller den ändring du vill testa). I fråga 12 får du svar på frågan varför du ska utgå från konverteringar och inte någon annan KPI (tex besök eller CTR) när du beräknar din urvalsstorlek.

Sätt att kontrollera om du kan A/B-testa

Innan du sätter igång ditt experiment beräknar du hur stort urval du behöver för varje variation – alltså antalet besökare du behöver i ditt experiment för att testresultaten ska nå statistisk signifikans. Använd en A/B-testkalkylator för att beräkna den minsta urvalsstorlek du behöver. När ditt experiment är igång är det viktigt att du låter testet fortsätta rulla tills du uppnått urvalsstorleken, trots att ”du ser signifikans” innan dess.

Använd en A/B-testkalkylator

Det finns ett gäng kalkylatorer där ute. Här är två som vi gillar:

• En enkel A/B-testkalkylator från Optimizely
• och en mer anpassningsbar kalkylator från Conversion XL

Inte tillräckligt med konverteringar?

Ingen panik! Det finns andra effektiva sätt att optimera din sajt på. Kika på det här blogginlägget! 🖖

3. Hur länge ska jag köra mitt A/B-test?

Det inte så roliga svaret är – det beror på. De viktigaste faktorerna är:

👥 Trafikvolym
🎯 Mål
📅 Försäljningsperiod

Generellt är vår rekommendation att du kör ditt experiment minst två veckor men högst sex veckor. Kortare än två veckor kan leda till att du inte når minsta nödvändiga urvalsstorlek eller att du stoppar testet mitt i din försäljningscykel. Det kan leda till att testresultaten blir missvisande och att du fattar beslut baserat på fel data.

Generellt är vår rekommendation att du kör ditt experiment minst två veckor men högst sex veckor

Att genomföra experiment under längre perioder än sex veckor är inte heller att rekommendera då det ökar risken för ”dataföroreningar”. Det innebär att externa och interna faktorer kan påverka din experimentdata och skapa missvisande resultat. Exempel på dataföroreningar är egna och konkurrenters kampanjer, helgdagar och borttagning av cookies. Resultatet kommer bli detsamma som för när du stoppar dina experiment för tidigt, din data blir missvisande och du kommer dra fel slutsatser.

Här är tre riktlinjer att följa när det gäller testlängd:

1. Kör testet tills du har nått ditt minsta nödvändiga urval för att få ett statistiskt signifikant resultat.
2. Kör ditt test under hela veckor. Om du startar ditt test på en tisdag, avsluta testet på en tisdag för att utesluta resultat som påverkas av regelbunden variation.
3. Kör ditt test under en hel försäljningscykel. Dina kunder kanske inte handlar så fort de kommer in på din webbplats. I själva verket kanske de besöker din webbplats flera gånger innan de gör ett köp. Så se till att köra testet under minst en hel försäljningscykel.

Kör ditt test under en hel försäljningscykel!

Använd vår A/B-testkalkylator för att beräkna längden på ditt test innan du börjar. Här är också en mer anpassningsbar kalkylator.

4. Varför stoppar vi inte A/B-testet efter tre dagar om vi ser att det är en förlorare?

För resultatet du ser är inte en representation av verkligheten. Det är fake news! Algoritmen i A/B-testverktyget behöver mer data för att kunna göra en korrekt beräkning.

Det är fake news!

Så om du avslutar ditt experiment för tidigt har du inte uppfyllt  den nödvändiga trafikvolymen och du har inte uppnått minsta antalet nödvändiga konverteringar. Du har alltså inte ett statistiskt säkerställt experiment. Som nämndes tidigare är rekommendationen att köra ditt experiment i minst två veckor och dessutom hela veckor. Tidigt i ett experiment kan du slumpmässigt få fler personer som är villiga att köpa i den ena gruppen än i den andra. Med små urval är det mycket mer troligt att du ser ett slumpmässigt resultat som inte återspeglar verkligheten. Att agera på pålitliga resultat istället för slumpmässiga resultat är hela poängen med att göra experiment! Så stoppa inte testet så snart du ser signifikans – det finns fler variabler som behöver vara uppnådda.

Tidigt i ett experiment kan du slumpmässigt få fler personer som är villiga att köpa i den ena gruppen än i den andra. Med små urval är det mycket mer troligt att du ser ett slumpmässigt resultat som inte återspeglar verkligheten

Kör också testet en hel försäljningscykel även om du nått det minsta nödvändiga urvalet. Du riskerar annars att du får ett bekvämlighetsurval snarare än ett representativt urval.

5. Vad är statistisk signifikans och statistisk styrka?

ÄNTLIGEN! Jag trodde aldrig att du skulle fråga. Det här är viktigt, så koncentrera dig och sluta inte läsa. Det hjälper dig att förstå en av de mest centrala delarna av A/B-testning.

Statistisk signifikans handlar om att förstå slumpens inverkan på ditt resultat. Om du exempelvis valt 95% konfidensgrad och du fått en vinnare i ditt experiment betyder det att du kan vara 95% säker på att ditt resultat inte orsakats av slumpen, utan att det faktiskt är skillnad mellan de två varianterna du testat. Vid 5% av tillfällena kommer dock slumpen avgöra vilken vinnaren blir, du har då fått en falsk positiv.

Det betyder att du vid 95 tillfällen av 100 kommer fatta beslut på korrekt data.

Varför är det viktigt att förstå statistisk signifikans?

Jo för rent konkret betyder det att vid 5 tillfällen (om du gör 100 A/B-tester där det inte finns en vinnare) kommer du fatta beslut på felaktig data. Men, ännu viktigare, betyder det också att du vid 95 tillfällen kommer fatta beslut på korrekt data. Det här är en avgörande insikt för dig som vill jobba datadrivet. Handen på hjärtat, hur många av dina affärsbeslut fattas på ett beslutsunderlag där du till 95% sannolikhet kan säga att underlaget speglar verkligheten? Vår uppfattning är att det är vid väldigt få tillfällen. En förutsättning för att kunna jobba med en konfidensgrad på 95% i era affärsbeslut är dock att ni gör många experiment. Vi kommer dock inte gå in på varför i den här posten, men det har med sannolikhetslära att göra. Kontakta vår statistikexpert Andreas om du vill grotta ner dig i detaljerna 🤓

Varför ska vi använda en konfidensnivå på 95%?

Vi tycker det är en bra balans mellan att kunna upptäcka vinnare och att inte förklara för många slumpmässiga positiva resultat som vinnare. Det är också en vanligt förekommande konfidensgrad bland kognitionsvetare och A/B-testteam. Så vi tror det borde fungera för ditt företag 🙂

Okej, puh, bra jobbat. Halva frågan avklarad. Låt oss gå vidare till statistisk styrka. Koncentrera dig igen (och sluta inte läsa)!

Statistisk styrka handlar om hur stor möjlighet du har att upptäcka vinnande resultat. Om du exempelvis valt en statistisk styrka på 80% och ditt experiment inte fått en vinnare (testet är resultatlöst) kan du vara 80% säker på att det inte finns någon vinnare. Vid 20% av tillfällena kommer det dock finnas en vinnare, som du inte upptäcker. Du har då fått en falsk negativ.

Ökad statistisk signifikans leder till minskad statistisk styrka.

Varför är det viktigt att förstå statistisk styrka?

Primärt av två anledningar. För det första för att du ska förstå hur stor sannolikheten är att du missar en vinnare när ditt experiment är resultatlöst. Igen, att du fattar beslut på felaktig data. Om du exempelvis använder 80% styrka och kör samma experiment fem gånger, kommer det fyra gånger (alltså 80% av gångerna) visas som vinnare och en gång (20% av gångerna) att visas som resultatlöst (inte en vinnare).

För det andra behöver du förstå att statistisk styrka är direkt sammankopplat med statistisk signifikans. Ökad statistisk signifikans leder till minskad statistisk styrka. Alltså, om du vill minska risken för falska positiva resultat (att ditt experiment vinner pga slump) och ökar din statistiska signifikans från 95% till 99% kommer din statistiska styrka per automatik att sjunka och risken för falska negativa (att du inte upptäcker vinnare) kommer öka. Motsatt förhållande råder såklart också, ökar du statistisk styrka från 80% till 90% kommer din statistiska signifikans per automatik minska, vilket ökar risken för falska positiva resultat.

Om du bara ska komma ihåg en sak från den här frågan, är det detta.

Styrka och signifikans är en balansakt – så ska du agera 💃🕺

Om du bara ska komma ihåg en sak från den här långa frågan, är det detta. Som utgångspunkt använd alltid 95% statistisk signifikans och 80% statistisk styrka för ditt experimentprogram. Det kommer ge dig en bra balans mellan att undvika falska positiva och falska negativa resultat, samt hålla längden på dina experiment under kontroll.

Där har du det! Förhoppningsvis förstår du nu lite mer om två centrala mekanismer inom A/B-testning, vilket kommer att öka din experimentkvalitet radikalt!

6. Det är en vinnare på mobil men förlorare på desktop. Vad ska vi göra?

Du har två val:

👉Gör endast ändringen på mobil
👉 Gör ändringen på alla enheter

Om möjligt, gör endast ändringen på mobil. Användarbeteende kan vara annorlunda på mobil och desktop. Om det inte är möjligt att göra ändringen endast på mobil måste du kompromissa (ja – igen!). Beräkna riskerna och fördelarna baserat på trafik per enhet och var de flesta konverteringar görs – och fatta ett beslut. För att kunna göra en bra kompromiss är det viktigt att du har en tydlig uppfattning av dina mål. Om du gör det kommer kompromissen inte att vara så svår att göra. Om det är svårt är det en indikation på att du behöver förtydliga och/eller prioritera dina mål.

7. Det är en vinnare på vissa marknader men en förlorare på andra. Vad ska vi göra?

Den här är lite knepig av många anledningar. Det korta och ”mer rätt än fel”- svaret är: Om det finns en liten skillnad beror det antagligen bara på slumpen (se frågan ovan om statistisk signifikans). Då kan du gå vidare och implementera det för alla marknader. Om det finns en stor skillnad på en av marknaderna är dina alternativ antingen 1) att utforska ytterligare eller 2) helt enkelt behålla originalet på den marknaden.

Men jag kan inte behålla originalversionen för bara en marknad! 🤦

Om så är fallet måste du kompromissa igen. Kom ihåg vad vi sa om mål och implementera det som är bäst i genomsnitt för alla marknader.

8. Kan vi köra dessa två A/B-test samtidigt eller borde vi vänta på att det första ska slutföras?

Som med många andra bra frågor beror det på🙂För de flesta företag är det viktigaste att köra flera experiment. Så kör de två experimenten samtidigt.

För de flesta företag är det viktigaste att köra många experiment

Det finns dock ett stort MEN. Om testen berör samma KPI och är på samma del av webbsidan, är det i de flesta fall bättre att vänta med att köra test nummer två. Om du har tillräckligt mycket trafik kan du köra dem samtidigt och dela upp trafiken mellan experimenten. Besökare 1 ser då bara test 1 och inte test 2 och vice versa. Du kommer då minimera risken för onaturligt användarbeteende då användaren endast exponeras för ett experiment, vilket kommer att öka dina chanser att dra korrekta slutsatser.

9. Vilket A/B-testverktyg rekommenderar ni?

En viktig fråga men omöjlig att besvara utan att veta mycket mer om ditt företag. Till exempel – hur ser din nuvarande tekniska plattform ut, hur mycket trafik har du, vad är din budget, hur många A/B-test utför du idag och hur många planerar du att utföra i framtiden? Det finns många verktyg att välja på, så se till att göra din läxa innan du fattar ett beslut.

Interna processer och  medarbetarnas kompetensnivå påverkar resultatet av ditt A/B-testprogram lika mycket (om inte mer) som det verktyg du väljer.

Och glöm inte att ställa dig (den kanske viktigaste) frågan: Hur ska vi jobba med A/B-tester inom vårt företaget framöver? Interna processer och medarbetarnas kompetensnivå påverkar resultatet av ditt A/B-testprogram lika mycket (om inte mer) som det verktyg du väljer.

10. Vilka KPIer ska jag mäta mot?

Du vill alltid optimera mot den KPI som ligger närmast ditt affärsmål, vilket antagligen är konverteringar. Dessutom vill du också mäta ett KPI som direkt påverkas av ditt experiment, till exempel användare som fortsätter till nästa steg i funneln eller försäljningsförändringar för andra produkter. Det är viktigt att du analyserar flera KPIer när du genomför dina experiment så du får förståelse för hur dina experiment påverkar dina affärsmål.

11. Kan vi inte bara lansera utan att A/B-testa och mäta efteråt?

Inte om du vill vara säker på effekten. Korrelation är inte kausalitet. Statistik på din webbplats kommer att variera mycket över tid (kan bero på säsong, kampanjer osv). Så om du ser en stor effekt kan det faktiskt bara bero på normal fluktuation och inte på grund av de förändringar du gjort.
Så om du vill vara säker på att förändringen du gjorde är orsaken till effekten måste du göra ett experiment.

Varför räcker det inte att förlita sig på korrelation?

Eftersom två variabler kan ha en stark korrelation utan att ha något att göra med varandra (som exemplen i länken demonstrerade). Om du inte förstår skillnaden mellan korrelation och kausalitet kommer det ställa till problem när du drar slutsatser från din analys. Så förlita dig inte på att korrelation ger dig en korrekt bild av verkligheten. Det kommer kausala samband göra.

12. Jag vill förbättra CTR – varför säger du att jag ska mäta konverteringar?

Säljer du CTRer? Antagligen inte. Du vill optimera den KPI som är starkast kopplad till ditt affärsmål, i detta fall konverteringar, och hålla koll på relaterade mätetal – CTR i detta fall.

Säljer du CTRer?

Mer trafik betyder per automatik inte fler kunder eller ökad försäljning. Om du driver in mer trafik till din sajt och din konverteringsfrekvens är oförändrad eller minskar, kommer din kostnad per försäljning att öka (allt annat är lika). Och i de flesta företag är det en dålig sak.

13. Jag vill testa vår kampanj – hur testar vi den?

Bra tänkt! En bra start är att bestämma:

👉vad det är i annonsen du vill testa
👉var i kundresan du vill utföra testet

Till exempel kan du testa två olika rubriker eller erbjudanden (inte samtidigt!) och se hur det påverkar din konverteringsfrekvens. Kontrollera bara att kampanjen rullar tillräckligt länge för att tillräckligt med trafik kan komma in. Använd en A/B-test kalkylator för att säkerställa att du får in rätt mängd trafik.

När det gäller att bestämma var i kundresan du vill utföra A/B-testet, fokusera på steget där din målgrupp fattar beslut som har den största effekten på ditt kampanjmål. Det kan vara på annonser eller på landningssidor på din sajt. Och gör bara ett test i taget så du har koll på vad som orsakade förändringen.

14. Hur många A/B-tester ska jag köra?

Så många du kan! Hög frekvens är avgörande för att lyckas med A/B-testning. En kritisk punkt är såklart om kostnaden överstiger avkastningen. Men testar du rätt saker kommer ditt experimentprogram vara väldigt lönsamt. Fokusera på att genomföra experiment kontinuerligt där dina besökare fattar beslut om sådant som påverkar dina affärsmål mest.

Hög frekvens är avgörande för att lyckas med A/B-testning.

Det finns olika strategier att välja på beroende på ditt företags mognad. Om du är i startblocken när det kommer till A/B-testning finns det några enkla första steg, och för dig som har fått igång ditt experimentprogram och vill öka antalet experiment finns det andra strategier.

15. Jag har tre olika förändringar jag vill göra – kan jag testa alla i ett experiment?

Ja och nej 🙃 Om de tre förändringarna förväntas påverka användarens beteende på samma sätt kan du testa alla i samma experiment. Annars testar du en sak åt gången för att vara säker på att veta vad som orsakade förändringen. Att testa en förändring åt gången kan ge dig bättre insikt om effekten av varje förändring.

16. När ska jag köra ett A/B/C-test?

När du har MYCKET trafik! Fördelen med att göra ett A/B/C-test är att du får testa fler variationer på en gång, men A/B/C-test kräver mycket mer trafik än ett A/B-test för att nå ett statistiskt signifikant resultat. Det tar dessutom mer tid. Beräkna om du har tillräckligt med trafik för att göra ett A/B/C-test.

A/B/C-test kräver mycket mer trafik än ett A/B-test för att uppnå ett statistiskt signifikant resultat

Dessutom –  A/B/C-tester riskerar att leda till en komplicerad analys. Försök att hålla det enkelt – testa en hypotes i taget och ändra bara så mycket som behövs för att testa hypotesen. Gör snarare en serie experiment, skapa insikter och genomför nya experiment baserade på insikterna från dina tidigare experiment. Så –  i de flesta fall kommer du över tid nå dina mål snabbare genom att köra ”vanliga” A/B-tester.

17. Människor och deras beteende förändras. Hur säkerställer jag att de förändringar jag implementerar forsätter vara aktuella över tid?

Du måste kontinuerligt validera dina kundinsikter för att hålla dem uppdaterade då den verkliga kundresan är rörig i ständig förändring. Om du har många återkommande användare kan det vara bra att ha en kontrollgrupp som benchmark, eller göra ett nytt test senare. Men i de flesta fall är det viktigare att hålla en hög frekvens av experiment över tid.

18. Förutom på en webbsida – var kan jag köra A/B-test?

Det är upp till dig och din fantasi! Du kan köra dem var du vill så länge du kan mäta dem och dela upp målgruppen i slumpmässiga urval beståendes av en kontrollgrupp och en variant. Så du kan testa på appar, i e-post utskick, banners, sociala medier … kaffemaskiner 🙂 Starta med en väl definierad hypotes baserad på data, och sen är det bara att köra!

…appar, i e-post utskick, banners, sociala medier … kaffemaskiner

19. Bör vi initialt starta testet med en lägre procent av trafiken riktad mot varianten?

Det rekommenderas verkligen inte 🙅‍♂️ Du behöver ha lika många användare i båda urvalen för att få en godtagbar jämförbarhet. Olika stora urval kan leda till olika sammansättningar av användare vilket kommer leda till missvisande resultat. Vad du kan göra för att kvalitetssäkra ditt experiment är att köra hela experimentet till en lägre procentandel av trafiken, men fortfarande 50/50 mellan kontrollen och varianten.

20. Hur fattar vi beslut om vad vi ska göra om ett A/B-test är insignifikant? Vilka faktorer beaktar vi i olika fall?

Om du kör ett test med målet att öka konverteringen och resultatet är insignifikant, dokumentera resultatet (du lär dig av dem också!) men implementera inte. Men om målet är att validera, att se till att en viss förändring inte skadar konverteringen, kan ett insignifikant test implementeras.

Exempel: Är det säkert att börja sälja växter?

Om du har en e-handel som säljer möbler och du vill börja sälja växter, kommer det att påverka möbelförsäljningen negativt? Istället för att lansera det för alla kunder på ett bräde kan du göra ett A/B-test (ett valideringstest) där testets variant promotar växter. Om din möbelförsäljning inte är lägre i varianten än i kontrollen bör det vara säkert att börja sälja växter.

21. Hur vet vi vad vi ska A/B testa först och/eller prioritera?

Gör en av våra favoritövningar – prioritera! Avgör vilka experiment som har den högsta potentialen till den lägsta ansträngningen och börja med dessa.

Men först…
…måste du förstå ”varför” du gör experimentet – hur kommer resultatet att påverka ditt företag? Kommer det att öka antalet leads, intäkter från din e-handel eller något annat viktigt mål? När ditt affärsmål är satt, kvantifierar du det och definierar vilket resultat du förväntar dig från experimentet (ditt experimentmål). Det sista steget är att göra en uppskattning av hur svårt testet kommer att vara att genomföra (och kanske också hur svår förändringen blir att implementera om du får en vinnare). Gör det här för alla dina experimentkandidater och du kommer få en god förståelse för vilka tester som kommer skapa högst värde för ditt företag.

För att börja prioritera – testa PIE-modellen

Svårt i verkligheten? Prova PIE-modellen! Det är ett användbart verktyg som ger dig och ditt team ett ramverk för att diskutera och bestämma hur olika experiment kommer att påverka affärsmålen.

Sammanfattningsvis

Förhoppningsvis har du fått svar på några av dina frågor angående A/B-testning och hur du ska ta ditt experimentprogram framåt i ditt företag!

Vet du inte var du ska börja?
Ring, skicka ett e-postmeddelande eller fyll i ett (kort) formulär, så återkommer vi! 😊

Happy testing!