De 21 vanligste kundespørsmålene om A/B-testing du ikke vil gå glipp av!

Som konverteringsspesialister får vi mange spørsmål fra kundene våre når det gjelder A/B-testing. Det synes vi selvfølgelig er morsomt, siden A/B-testing er en av de mest effektive metodene for å drive langsiktig vekst i din bedrift.

I dette blogginnlegget finner du de vanligste spørsmålene vi får fra kundene våre om A/B-testing – og svarene på dem.

Dette vil du lære

✅Hvordan A/B-testing hjelper deg med å skape langsiktig vekst i virksomheten din

✅Hvordan håndtere de vanligste A/B-testutfordringene

✅Feil du virkelig vil unngå

Da setter vi i gang!

1. Må jeg gjøre A/B-testing?

Selvfølgelig må du det! Hvordan kan du ellers vite om du tjener eller taper penger? Eller hva som er viktigst for kundene dine? Harvard Business Review uttrykker det slik, og vi er enige.

Kontrollerte eksperimenter kan gjøre det å fatte beslutninger til en vitenskapelig, bevisdrevet prosess fremfor en intuitiv reaksjon

Hvis du implementerer flere endringer på nettstedet ditt uten å teste dem først, kan det ende med ingen, eller til og med negativ, effekt på KPIene dine. Du kommer heller ikke til å vite hvilke endringer som skapte positive resultater eller hvilke som skapte negative, siden det er umulig å se årsakssammenheng mellom innsatsen du gjør og dens virkning. Grunnlag for en skikkelig hodepine, med andre ord.

A/B-testing er en utmerket metode for å validere effekten av en endring du ønsker å gjøre. Eksperimenter gir deg muligheten til å prioritere de investeringene som har størst innvirkning på bedriftens mål. En god ting, synes vi!

Fortsatt skeptisk? Sjekk spørsmål 11 – der har du et solid argument.

2. Hvor mye trafikk trenger jeg?

Mengden av konverteringer er avgjørende. En konvertering kan for eksempel være en bestilling i en nettbutikk, eller en lead til et salg. En bra tommelfingerregel er et par hundre konverteringer per variant (variant = siden som inneholder den endringen du vil teste). I spørsmål 12 får du svar på spørsmålet om hvorfor du skal gå ut fra konverteringer og ikke en annen KPI (f.eks. besøk eller CTR) når du beregner størrelsen på utvalget ditt.

Hvordan sjekke om du kan A/B-teste

Før du starter eksperimentet, må du beregne hvor stort utvalg du trenger for hver variasjon, altså antall besøkende du trenger i eksperimentet ditt for at testresultatet skal ha statistisk signifikans. Bruk en A/B-testkalkulator for å beregne den minste utvalgsstørrelsen du trenger. Når eksperimentet ditt kjøres, er det viktig at du lar det fortsette til du har oppnådd utvalgsstørrelsen, selv om du «ser betydning» før det.

Bruk en A/B-testkalkulator

Det finnes mange kalkulatorer der ute. Her er to vi liker:

• En enkel A/B-testkalkulator fra Optimizely
• og en mer tilpassbar kalkulator fra Conversion XL

Ikke nok konverteringer?

Ingen grunn til panikk! Det finnes andre effektive måter å optimalisere nettstedet ditt på. Sjekk ut dette blogginnlegget!🖖

3. Hvor lenge skal jeg kjøre A/B-testen?

Det ikke så morsomme svaret er – det kommer an på. De viktigste faktorene er:

👥 Trafikkvolum
🎯 Mål
📅 Salgsperiode

Generelt er anbefalingen vår at du kjører eksperimentet ditt i minst to uker, men ikke mer enn seks uker. Kortere enn to uker kan føre til at du ikke når den minste nødvendige utvalgsstørrelsen, eller at du stopper testen midt i salgssyklusen. Det kan føre til at testresultatene blir misvisende, og at du tar beslutninger basert på feil data.

Generelt er anbefalingen vår at du kjører eksperimentet ditt i minst to uker, men ikke mer enn seks uker

Det er heller ikke anbefalt å gjennomføre eksperimenter i perioder på over seks uker, siden det øker risikoen for «dataforurensning». Det innebærer at eksterne og interne faktorer kan påvirke eksperimentdataene dine, og skape et misvisende resultat. Eksempler på dataforurensninger er egne og konkurrentenes kampanjer, høytider og fjerning av cookies. Resultatene vil være de samme som når du stopper eksperimentene dine for tidlig. Dataene dine blir misvisende, og du kommer til å trekke feilaktige slutninger.

Her er tre retningslinjer å følge når det gjelder testlengde:

1. Kjør testen til du når minimumsutvalget ditt, som er nødvendig for å få et statistisk signifikant resultat.
2. Kjør testen i hele uker. Hvis du starter testen på en tirsdag, avslutt testen på en tirsdag også, for å utelukke resultater som er påvirket av regelmessig variasjon.
3. Kjør testen over en hel salgssyklus. Det er ikke sikkert at kundene dine handler med en gang de kommer inn på nettstedet ditt. Det kan hende de besøker nettstedet flere ganger før de kjøper. Sørg derfor for å kjøre testen under minst en hel salgssyklus.

Kjør testen din gjennom en hel salgssyklus!

Bruk vår A/B-testkalkulator for å beregne lengden på testen din før du starter. Her er også en mer tilpassbar kalkulator.

4. Hvorfor stopper vi ikke A/B-testen etter tre dager, hvis vi ser at den er en «taper»?

Det er fordi resultatene du ser ikke er en representasjon av virkeligheten. Det er fake news! Algoritmen i A/B-testverktøyet trenger mer data for å gjøre en korrekt beregning.

Det er fake news!

Hvis du avslutter eksperimentet for tidlig har du ikke oppfylt det nødvendige trafikkvolumet, og du har ikke oppnådd minimum antall nødvendige konverteringer. Du har altså ikke et statistisk pålitelig eksperiment. Som nevnt tidligere er anbefalingen å kjøre eksperimentet ditt i minst to uker, og også i hele uker. Tidlig i et eksperiment kan du tilfeldigvis få flere personer som er villige til å kjøpe i den ene gruppen enn i den andre. Med små utvalg er det mye mer sannsynlig at du ser et tilfeldig resultat som ikke gjenspeiler virkeligheten. Å handle ut fra pålitelige resultater i stedet for tilfeldige resultater er hele poenget med å gjennomføre et eksperiment. Så slutt ikke å teste så fort du ser betydning – det finnes flere variabler som må oppnås.

Tidlig i et eksperiment kan du tilfeldigvis få flere personer som er villige til å kjøpe i den ene gruppen enn i den andre. Med små utvalg er det mye mer sannsynlig at du ser et tilfeldig resultat som ikke gjenspeiler virkeligheten

Kjør også testen en hel salgssyklus selv om du har nådd det nødvendige minimumsutvalget. Ellers risikerer du å få et bekvemmelighetsutvalg fremfor et representativt utvalg.

5. Hva er statistisk signifikans og statistisk styrke?

ENDELIG! Jeg trodde aldri du skulle spørre. Dette er viktig, konsentrer deg og fortsett å lese. Det hjelper deg med å forstå en av de mest sentrale delene A/B-testing.

Statistisk signifikans handler om å forstå tilfeldighetenes innvirkning på resultatet ditt. Hvis du for eksempel valgte 95% konfidensgrad og du har fått en vinner i eksperimentet ditt, betyr det at du kan være 95% sikker på at resultatet ditt ikke skyldes tilfeldigheter, men at det faktisk er en forskjell mellom de to variantene du testet. Ved 5% av tilfellene vil tilfeldighetene imidlertid avgjøre hvem vinneren blir. Du har da fått en falsk positiv.

Det betyr at du ved 95 av 100 anledninger vil fatte en beslutning basert på korrekte data

Hvorfor er det viktig å forstå statistisk signifikans?

Konkret betyr det at du ved 5 anledninger (hvis du gjennomfører 100 A/B-tester hvor det finnes en vinner) kommer til å ta en avgjørelse basert på uriktige data. Men, enda viktigere, det betyr også at du ved 95 anledninger kommer til å ta avgjørelser basert på korrekte data. Dette er avgjørende kunnskap for deg som vil jobbe datadrevet. Med hånden på hjertet, hvor mange av forretningsbeslutningene dine fattes på et grunnlag som du med 95% sannsynlighet kan si at speiler virkeligheten? Vår oppfatning er at det er ved svært få tilfeller. En forutsetning for å kunne jobbe med en konfidensgrad på 95% i forretningsbeslutningene deres, er at dere gjennomfører mange eksperimenter. Vi kommer ikke til å gå nærmere inn på hvorfor i dette innlegget, men det har med sannsynlighetslære å gjøre. Kontakt vår statistikkekspert Andreas hvis du vil grave deg ned i detaljene 🤓

Hvorfor skal vi bruke et konfidensnivå på 95%?

Vi synes det er en god balanse mellom å kunne oppdage vinnere, og ikke forklare for mange tilfeldige positive resultater som vinnere. Det er også et vanlig konfidensnivå blant kognisjonsforskere og A/B-testteam. Derfor tror vi det vil fungere for din bedrift 🙂

Ok, fjoh, godt jobbet. Halve spørsmålet avklart. La oss gå videre til statistisk styrke. Konsentrer deg igjen (og ikke slutt å lese).

Statistisk styrke handler om hvor stor mulighet du har til å oppdage positive resultater. Hvis du for eksempel velger en statistisk styrke på 80% og eksperimentet ditt ikke har fått en vinner (testen er resultatløs) kan du være 80% sikker på at det ikke finnes en vinner. Ved 20% av tilfellene vil det nok være en vinner, som du ikke oppdager. Da har du fått en falsk negativ.

Økt statistisk signifikans fører til redusert statistisk styrke

Hvorfor er det viktig å forstå statistisk styrke?

Primært av to grunner. For det første, for at du skal forstå hvor stor sannsynligheten er for at du går glipp av vinnere når eksperimentet ditt mislykkes. Som sagt, at du tar avgjørelser basert på feilaktig data. Hvis du for eksempel bruker 80% styrke og kjører samme eksperimentet fem ganger, kommer det til å vises som en vinner fire ganger (altså 80% av gangene) og én gang (20% av gangene) som mislykket (ikke en vinner).

For det andre må du forstå at statistisk styrke er direkte sammenkoblet med statistisk signifikans. Økt statistisk signifikans fører til mindre statistisk styrke. Altså, hvis vil minimere risikoen for falske positive resultater (at eksperimentet vinner pga. tilfeldigheter) og øker din statistiske signifikans fra 95% til 99% vil den statistiske styrken automatisk synke og risikoen for falske negative (at du ikke oppdager vinnere) vil å øke. Det motsatte gjelder såklart også. Hvis du ønsker statistisk styrke fra 80% til 90% vil statistisk signifikans automatisk synke, noe som øker risikoen for falske positive resultater.

Hvis du skal huske bare én ting fra dette svaret, så er det dét

Styrke og signifikans er en balansegang – slik bør du handle 💃🕺

Er det én ting du bør huske hva dette lange svaret, så er det dette. Bruk alltid 95% statistisk signifikans og 80% statistisk styrke som et utgangspunkt for ditt eksperimentprogram. Det vil gi deg en god balanse mellom å unngå falske positive og falske negative resultater, samt å holde lengden på eksperimentene dine under kontroll.

Der har du det! Forhåpentligvis forstår du nå litt mer av to sentrale mekanismer innenfor A/B-testing, noe som vil øke kvaliteten på eksperimentene dine betraktelig!

6. En vinner på mobil, men en taper på desktop. Hva gjør vi?

Du har to valg:

👉 Gjør endringen bare på mobil
👉 Gjør endringen på alle enheter

Gjør bare endringen på mobil hvis det er mulig. Brukernes atferd kan være forskjellig på mobil og desktop. Hvis det ikke er mulig å gjøre endringene kun på mobil, må du gå på akkord (ja – igjen!). Beregne risikoer og fordeler basert på trafikk per enhet, og hvor de fleste konverteringene gjøres – og ta en avgjørelse. For å inngå et bra kompromiss er det viktig at du har en klar og tydelig oppfatning av målene dine. Hvis du har det, kommer ikke kompromisset til å være så vanskelig å inngå. Hvis det er vanskelig, er det et tegn på at du trenger å tydeliggjøre og/ eller prioritere målene dine.

7. En vinner på enkelte markeder, men en taper på andre. Hva bør vi gjøre?

Denne er litt vanskelig av mange grunner. Det korte, og «mer riktig enn feil»-svaret, er: Hvis det finnes en forskjell avhenger det antageligvis bare av tilfeldigheter (se spørsmålet over om statistisk signifikans). Da kan du gå videre og implementere det for alle markeder. Hvis det finnes en stor forskjell på ett av markedene er alternativene dine enten 1) å utforske ytterligere eller 2) behold originalen på det markedet.

Men jeg kan ikke beholde originalversjonen for kun ett marked! 🤦

Hvis det er tilfellet må du inngå kompromiss igjen. Husk hva vi sa om mål og implementering av det som i gjennomsnitt er best for alle markeder.

8. Kan vi kjøre disse to A/B-testene samtidig, eller bør vi vente til den første er fullført?

Som med mange andre gode spørsmål, så kommer det an på 🙂 For de fleste bedrifter er det viktigst å kjøre flere eksperimenter. Så kjør begge eksperimentene samtidig.

For de fleste bedrifter er det viktigst å kjøre mange eksperimenter.

Det finnes likevel et stort MEN. Hvis testen berører samme KPI og er på samme del av nettsiden, er det i de fleste tilfeller bedre å vente med å kjøre test nummer to. Hvis du har nok trafikk kan du kjøre dem samtidig og dele opp trafikken mellom eksperimentene. Besøkende 1 vil da bare se test 1 og ikke test 2, og omvendt. Du vil da minimere risikoen for unaturlig brukeratferd, ettersom brukere bare blir eksponert for ett eksperiment, noe som kommer til å øke sjansene dine til å trekke riktige konklusjoner.

9. Hvilket A/B-testverktøy anbefaler dere?

Et viktig spørsmål, som er umulig å svare på uten å vite langt mer om bedriften din. For eksempel – hvordan ser din nåværende tekniske plattform ut, hvor mye trafikk har du, hva er budsjettet ditt, hvor mange A/B-tester utfører du i dag og hvor mange planlegger du å utføre i fremtiden? Det finnes mange verktøy å velge mellom, sørg for å gjøre leksene dine før du tar an avgjørelse.

Interne prosesser og medarbeidernes ferdighetsnivå påvirker resultatet av A/B-testprogrammet ditt like mye (om ikke mer) som det verktøyet du velger

Glem ikke å stille deg (kanskje det viktigste) spørsmålet: Hvordan skal vi jobbe med A/B-tester i vår bedrift fremover? Interne prosesser og medarbeidernes ferdighetsnivå påvirker resultatet av A/B-testprogrammet ditt like mye (om ikke mer) som det verktøyet du velger.

10. Hvilke KPIer skal jeg måle mot?

Du vil alltid optimalisere mot den KPIen som ligger nærmest forretningsmålet ditt, noe som mest sannsynlig er konverteringer. I tillegg vil du også måle en KPI som påvirkes direkte av eksperimentet ditt, for eksempel brukere som fortsetter til neste steg i funnelen eller salgsendringer for andre produkter. Det er viktig at du analyserer flere KPIer når du gjennomfører eksperimentene dine, slik at du får en forståelse for hvordan eksperimentene påvirker forretningsmålene dine.

11. Kan vi ikke bare lansere uten å A/B-teste, forså å måle etterpå?

Ikke om du vil være sikker på effekten. Korrelasjon er ikke kausalitet. Statistikken på nettstedet ditt vil variere mye over tid (avhengig av sesong, kampanjer osv.). Hvis du ser en stor effekt kan det henge sammen med normale svingninger, og ikke nødvendigvis ha noe med endringene å gjøre. Hvis du vil være sikker på at endringen du gjorde er årsaken til effekten, må du gjennomføre et eksperiment.

Hvorfor er det ikke nok å stole på korrelasjon?

Fordi to variabler kan ha en sterk korrelasjon uten å ha noe med hverandre å gjøre (som eksempelet i lenken demonstrerer). Hvis du ikke forstår forskjellen på korrelasjon og kausalitet, kommer det til å bli problematisk når du trekker konklusjoner fra analysen din. Stol ikke på at korrelasjon gir deg et korrekt bilde av virkeligheten. Det vil årsakssammenhenger gjøre.

12. Jeg vil forbedre CTR – hvorfor sier du at jeg skal måle konverteringer?

Selger du CTRer? Sannsynligvis ikke. Du vil optimalisere den KPIen som er sterkest knyttet til dine forretningsmessige mål, i dette tilfellet konvertering, og holde oversikt over tilknyttede måletall – CTR i dette tilfellet.

Selger du CTRer?

Mer trafikk betyr ikke automatisk flere kunder eller økt salg. Hvis du får mer trafikk til nettstedet ditt, og konverteringsfrekvensen er uendret eller synker, vil kostnadene per salg øke (alt annet er likt). I de fleste bedrifter er det en dårlig ting.

13. Jeg vil teste kampanjen vår – hvordan tester vi den?

Godt tenkt! En god start er å bestemme:

👉 Hva det er i annonsen du ønsker å teste
👉 Hvor i kundereisen du vil utføre testen

Du kan for eksempel teste to ulike overskrifter eller tilbud (ikke samtidig!) og se hvordan det påvirker konverteringsfrekvensen din. Bare sørg for at kampanjen går lenge nok til at tilstrekkelig med trafikk kommer inn. Bruk en  A/B-testkalkulator for å sikre at du får inn riktig trafikkmengde.

Når det kommer til å bestemme hvor i kundereisen du ønsker å utføre A/B-testen, fokuser på steget hvor målgruppen din tar avgjørelser som har størst innvirkning på kampanjemålet ditt. Det kan være annonser eller landingssider på nettstedet ditt. Og gjør kun én test om gangen, så du har oversikt over hva som forårsaket endringen.

14. Hvor mange A/B-tester skal jeg kjøre?

Så mange du kan! Høy frekvens er avgjørende for å lykkes med A/B-testing. Et kritisk punkt er såklart hvis kostnaden overstiger avkastningen. Men tester du de riktige tingene vil eksperimentprogrammet ditt være veldig lønnsomt. Fokuser på å gjennomføre eksperimenter kontinuerlig der de besøkende tar avgjørelser om ting som påvirker forretningsmålene dine mest.

Høy frekvens er avgjørende for å lykkes med A/B-testing

Det finnes ulike strategier å velge mellom, avhengig av bedriftens modenhet. Hvis du er i startfasen når det kommer til A/B-testing finnes det noen enkle første steg, og for deg som har fått i gang eksperimentprogrammet ditt og vil øke antallet eksperimenter finnes det andre strategier.

15. Jeg har tre ulike endringer jeg vil gjøre – kan jeg teste alle i ett eksperiment?

Ja og nei 🙃 Hvis de tre endringene forventes å påvirke brukerens atferd på samme måte, kan du teste alle i samme eksperiment. Ellers tester du en sak av gangen for å være sikker på at du får greie på hva som forårsaket endringen. Å teste en endring av gangen kan gi deg bedre innsikt i effekten av hver endring.

16. Når skal jeg kjøre en A/B/C-test?

Når du har MYE trafikk! Fordelen med å kjøre en A/B/C-test er at du får teste flere variasjoner på en gang, men A/B/C-tester krever mye mer trafikk enn en A/B-test for å nå et statistisk signifikant resultat. Det tar også mer tid. Beregn om du har nok trafikk til å gjøre en A/B/C-test.

A/B/C-tester krever mye mer trafikk enn en A/B-test for å oppnå et statistisk signifikant resultat

I tillegg risikerer du at A/B/C-tester fører til en mer komplisert analyse. Prøv å holde det enkelt – test en hypotese av gangen og endre bare så mye som trengs for å teste hypotesen. Gjør heller en serie eksperimenter, få kunnskap og gjennomfør nye eksperimenter basert på kunnskapen fra dine tidligere eksperimenter. I de fleste tilfeller vil du nå målene dine over tid ved å kjøre «vanlige» A/B-tester.

17. Mennesker og deres atferd endrer seg. Hvordan sikrer jeg at endringene jeg implementerer fortsetter å være aktuelle over tid?

Du må kontinuerlig validere kunnskapen om kundene dine, for å holde den oppdatert, siden den virkelige kundereisen stadig endres. Hvis du har mange tilbakevendende brukere, kan det være bra å ha en kontrollgruppe som benchmark, eller gjennomføre en ny test senere. I de fleste tilfellene er det viktigere å holde en høy eksperimentfrekvens over tid.

18. Bortsett fra på en nettside – hvor kan jeg kjøre A/B-tester?

Det er opp til deg og fantasien din! Du kan kjøre dem hvor du vil så lenge du kan måle dem, og dele opp målgruppene i tilfeldige utvalg bestående av en kontrollgruppe og en variant. Du kan teste apper, e-postutsendelser, banners, sosiale medier.. kaffemaskiner 🙂 Begynn med en veldefinert hypotese basert på data, så er det bare å sette i gang!

…apper, i e-postutsendelser, banners, sosiale medier … kaffemaskiner

19. Bør vi i utangspunktet starte testen med en lavere prosent av trafikken rettet mot varianten?

Det anbefales virkelig ikke 🙅‍♂️ Du må ha like mange brukere i begge utvalgene for å få en akseptabel sammenlignbarhet. Ulik størrelse på utvalgene kan føre til ulik sammensetning av brukere, noe som vil føre til et misvisende resultat. Hva du kan gjøre for å kvalitetssikre eksperimentet ditt, er å kjøre hele eksperimentet med en lavere prosentandel av trafikken, men fortsatt 50/50 mellom kontroll og variant.

20. Hvordan tar vi avgjørelser om hva vi skal gjøre hvis en A/B-test er insignifikant? Hvilke faktorer vurderer vi i forskjellige tilfeller?

Hvis du kjører en test med mål om å øke konverteringen og resultatet blir insignifikant, må du dokumentere resultatet (og lære av det også), men ikke implementere. Hvis målet er å validere, for å sikre at en viss endring ikke skader konverteringen, kan en insignifikant test implementeres.

Eksempel: Er det trygt å begynne å selge planter?

Hvis du har en nettbutikk som selger møbler, og du vil begynne å selge planter, kommer det til å påvirke møbelsalget negativt? I stedet for å lansere det for alle kunder, kan du gjøre en A/B-test (en valideringstest) hvor testvarianten selger planter. Hvis møbelsalget ikke er lavere i variant enn i kontroll, bør det være trygt å begynne plantesalg.

21. Hvordan vet vi hva vi skal A/B-teste først og/eller prioritere?

Gjør en av favorittøvelsene våre – prioriter! Avgjør hvilke eksperimenter som har størst potensial til lavest innsats, og start med disse.

Men først…
…må du forstå «hvorfor» du gjør eksperimentet – hvordan kommer resultatet til å påvirke bedriften din? Kommer det til å øke antallet leads, inntekter fra nettbutikken din eller et annet viktig mål? Når forretningsmålet ditt er satt, kvantifiserer du det og definerer hvilket resultat du forventer deg fra eksperimentet (eksperimentmålet ditt). Det siste trinnet er å lage et estimat på hvor vanskelig testen vil være å utføre (og kanskje også hvor vanskelig endringer blir å implementere om du får en vinner). Gjør dette for alle eksperimentkandidatene dine, og du vil få en god forståelse for hvilke tester som vil skape mest verdi for bedriften din.

For å begynne prioriteringen – test PIE-modellen

Vanskelig i virkeligheten? Prøv PIE-modellen! Det er et nyttig verktøy som gir deg og teamet ditt et rammeverk for å diskutere og bestemme hvordan ulike eksperimenter vil påvirke forretningsmålet.

Sammendrag

Forhåpentligvis har du fått svar på noen av spørsmålene dine rundt A/B-testing og hvordan du kan videreføre eksperimentprogrammet ditt i bedriften din!

Vet du ikke hvor du skal begynne?
Ring, send en e-post eller fyll ut et (kort) skjema, så kommer vi tilbake til deg! 😊

Happy testing!