Många i Sverige har inte trafiken för att A/B-testa överhuvudtaget, men några kan A/B-testa på vissa sidor på sin sajt. Om du kan A/B-testa beror främst på vilka mål du vill mäta mot, trafikvolym, den förväntade konverteringsökningen (men även annat). Nedan går vi steg för steg igenom hur du använder kalkylatorn för att se var på din sajt du kan A/B-testa.
Vi A/B-testar ofta och mycket och utbildar andra hur man jobbar med A/B-testning på ett korrekt sätt. Problemet idag är att extremt många kör experiment, drar slutsatser och får resultat som inte alls återspeglar verkligheten. Eller det kanske mer tragiska: Startar ett experiment som aldrig når statistisk signifikans*. Det SMÄRTAR i oss.
Statistisk signifikans = Visar procentuellt huruvida ett resultat är representativt givet dina fördefinierade värden (frekventistisk statistik). Givet det förväntade resultatet kan du med en viss säkerhet säga om resultatet är tillförlitligt eller ej (alltid med en standardavvikelse men med hög eller låg sannolikhet).
Hitta meningsfulla experiment
Det finns många verktyg idag som hjälper dig avgöra hur länge ett experiment måste köras för att testresultat ska bli statistiskt signifikant (vi har också ett sånt, 🎉suprise 🎉). Vanligast är att du FÖRST anger den förväntade förändringen själv, och SEN får en siffra på hur mycket trafik du behöver. Men trafiken vet du ju, så vi har vänt på steken – Dessutom vill vi se alla (mall)sidor samtidigt samt visa skillnaden på att testa mot olika mål.
Så problemet vi vill lösa är själva svårigheten i att själv avgöra hur länge ett experiment ska köras och hur stor en förväntad uplift kan eller måste vara (för att bli statistiskt signifikant).
Kalkylatorn som du får nu, talar därför om för dig hur stor en minsta förändring mellan variationerna måste vara, för att vi ska kunna upptäcka den.
Dessutom, med detta verktyg får du en överblick av hela sajten direkt och du behöver inte utvärdera ”görbarheten” inför varje enskilt experiment. Du behöver därför bara använda verktyget en gång (så länge din trafik och ditt användarbeteende inte ändras dramatiskt).
Vad påverkar om ett A/B-test är meningsfullt?
När du A/B-testar så finns flera olika aspekter som påverkar experimentets längd och hur nära resultatet ligger den egentliga sanningen:
- Hur länge A/B-testet körs (antal besökare som exponeras)
- Hur många variationer som ingår
- Din nuvarande konverteringsgrad
- Din förväntade förändring i konverteringsgrad
- Vilket mål du mäter experimentet mot
Varför är punkt fyra en tjockis? Jo, för att hur stor din förväntade uplift är beror på hur datadriven, genomarbetad och beprövad din hypotes är (dvs om förändringen påverkar ett användarbeteende eller inte).
Många tilltänkta experiment kommer du därför inte kunna genomföra. Experiment Feasibility-kalkylatorn är ett av flera verktyg som används för att prioritera och planera din backlog av förbättringshypoteser. Att se om ett experiment är görbart eller inte, vill du göra direkt.
Feasibility-kalkylatorn visualiserar dina sweetspots
Experiment Feasibilty-kalkylatorn visualiserar var på din sajt du kan A/B-testa. Eller rättare sagt; hur långt ner i din funnel eller på vilken sidtyp ett experiment är görbart.
Det enda du behöver göra är att mata in data från ditt Google Analytics-konto, rätt in i ditt spreadsheet, verktyget gör resten.
Få verktyget – Experiment Feasibility-kalkylatorn
Eller: Få PRO-versionen med automatisk GA-koppling här
Du behöver:
- Korrekt uppsatt spårning i Google Analytics (eller annat analysverktyg)
- Om du har en e-handel är Enhanced E-commerce fördelaktigt
- Eventuellt skapa Custom Reports* (vi visar i tutorial nedan)
- Sätta upp Avancerade Segment* (vi visar i tutorial nedan)
*Custom reports och Avancerade Segment behövs för att få ut den data du vill ha (du vill göra det här och du behöver bara göra det typ en gång, så länge din trafik och beteendet på sajten inte ändras dramatiskt). Vi visar i en tutorial nedan hur du gör.
Så här fungerar Experiment Feasibility-kalkylatorn
Efter att du fyllt i din egen data i dokumentet, kommer kalkylatorn visa vilken uplift experimentet kommer att kräva, på olika delar av din sajt.
I verktyget ser du skillnaden på A/B-testning mot olika mål:
Så här avläser du färgkodningen per sidnivå:
Du ser också hur testtid (och antal variationer) påverkar görbarheten:
Få verktyget – Experiment Feasibility-kalkylatorn
Eller: Få PRO-versionen med automatisk GA-koppling här
För att täcka flera av de vanligaste frågorna, har vi spelat in en demo som visar hur du steg för steg fyller i dokumentet, samt hur du sätter upp rapporter och segment som behövs.
Steg för steg – Så använder du kalkylatorn:
I demon använder vi oss av Google Merchandise Store (en sajt där Google säljer Google-grejer men som dom också låter partners använda som GA-demo-konto). Men du kan använda ett annat analysverkyg för att hitta den data som efterfrågas såklart.
Dessa olika moment gås igenom i vår Tutorial:
- Beräkning för att A/B-testa Sitewide (01:05)
- Beräkning för att A/B-testa på Startsidan (04:00)
- Beräkning för att A/B-testa på Kategorisidan (06:30)
- Beräkning för att A/B-testa på ”Checkout-page” (11:55)
- Beräkning för att A/B-testa på ”Checkout-complete” (11:55)
- Hur du läser av och använder tabellen (16:15)
Visade det sig att du inte kan A/B-testa? Ingen fara.
Om du inte kan A/B-testa: Optimera så här
Ställ gärna frågor i kommentarsfältet nedan, det kan hjälpa andra med samma fundering.