Se var på din sajt du kan A/B-testa med Experiment Feasibility-kalkylatorn

Simon Dahla

Många i Sverige har inte trafiken för att A/B-testa överhuvudtaget, men några kan A/B-testa på vissa sidor på sin sajt. Om du kan A/B-testa beror främst på vilka mål du vill mäta mot, trafikvolym, den förväntade konverteringsökningen (men även annat). Nedan går vi steg för steg igenom hur du använder kalkylatorn för att se var på din sajt du kan A/B-testa.

Vi A/B-testar ofta och mycket och utbildar andra hur man jobbar med A/B-testning på ett korrekt sätt. Problemet idag är att extremt många kör experiment, drar slutsatser och får resultat som inte alls återspeglar verkligheten. Eller det kanske mer tragiska: Startar ett experiment som aldrig når statistisk signifikans*. Det SMÄRTAR i oss.

Statistisk signifikans = Visar procentuellt huruvida ett resultat är representativt givet dina fördefinierade värden (frekventistisk statistik). Givet det förväntade resultatet kan du med en viss säkerhet säga om resultatet är tillförlitligt eller ej (alltid med en standardavvikelse men med hög eller låg sannolikhet).

Hitta meningsfulla experiment

Det finns många verktyg idag som hjälper dig avgöra hur länge ett experiment måste köras för att testresultat ska bli statistiskt signifikant (vi har också ett sånt, 🎉suprise 🎉). Vanligast är att du FÖRST anger den förväntade förändringen själv, och SEN får en siffra på hur mycket trafik du behöver. Men trafiken vet du ju, så vi har vänt på steken – Dessutom vill vi se alla (mall)sidor samtidigt samt visa skillnaden på att testa mot olika mål.

Så problemet vi vill lösa är själva svårigheten i att själv avgöra hur länge ett experiment ska köras och hur stor en förväntad uplift kan eller måste vara (för att bli statistiskt signifikant).

Experiment är när hjulet träffar verkligenhetebKalkylatorn som du får nu, talar därför om för dig hur stor en minsta förändring mellan variationerna måste vara, för att vi ska kunna upptäcka den.

Dessutom, med detta verktyg får du en överblick av hela sajten direkt och du behöver inte utvärdera ”görbarheten” inför varje enskilt experiment. Du behöver därför bara använda verktyget en gång (så länge din trafik och ditt användarbeteende inte ändras dramatiskt).

Vad påverkar om ett A/B-test är meningsfullt?

När du A/B-testar så finns flera olika aspekter som påverkar experimentets längd och hur nära resultatet ligger den egentliga sanningen:

  1. Hur länge A/B-testet körs (antal besökare som exponeras)
  2. Hur många variationer som ingår
  3. Din nuvarande konverteringsgrad
  4. Din förväntade förändring i konverteringsgrad
  5. Vilket mål du mäter experimentet mot

Varför är punkt fyra en tjockis? Jo, för att hur stor din förväntade uplift är beror på hur datadriven, genomarbetad och beprövad din hypotes är (dvs om förändringen påverkar ett användarbeteende eller inte).

Många tilltänkta experiment kommer du därför inte kunna genomföra. Experiment Feasibility-kalkylatorn är ett av flera verktyg som används för att prioritera och planera din backlog av förbättringshypoteser. Att se om ett experiment är görbart eller inte, vill du göra direkt.
Experiment Feasibility

Feasibility-kalkylatorn visualiserar dina sweetspots

Experiment Feasibilty-kalkylatorn visualiserar var på din sajt du kan A/B-testa. Eller rättare sagt; hur långt ner i din funnel eller på vilken sidtyp ett experiment är görbart.

Det enda du behöver göra är att mata in data från ditt Google Analytics-konto, rätt in i ditt spreadsheet, verktyget gör resten.

Få verktyget – Experiment Feasibility-kalkylatorn

Eller: Få PRO-versionen med automatisk GA-koppling här

Du behöver:

  • Korrekt uppsatt spårning i Google Analytics (eller annat analysverktyg)
  • Om du har en e-handel är Enhanced E-commerce fördelaktigt
  • Eventuellt skapa Custom Reports* (vi visar i tutorial nedan)
  • Sätta upp Avancerade Segment* (vi visar i tutorial nedan)

*Custom reports och Avancerade Segment behövs för att få ut den data du vill ha (du vill göra det här och du behöver bara göra det typ en gång, så länge din trafik och beteendet på sajten inte ändras dramatiskt). Vi visar i en tutorial nedan hur du gör.

Så här fungerar Experiment Feasibility-kalkylatorn

Efter att du fyllt i din egen data i dokumentet, kommer kalkylatorn visa vilken uplift experimentet kommer att kräva, på olika delar av din sajt.

I verktyget ser du skillnaden på A/B-testning mot olika mål:

(klicka för att förstora)
Feasibility-kalkylatorn exempel

Så här avläser du färgkodningen per sidnivå:

(klicka för att förstora)
Feasibility-kalkylatorn exempel

Du ser också hur testtid (och antal variationer) påverkar görbarheten:

Tid för experiment

Få verktyget – Experiment Feasibility-kalkylatorn

Eller: Få PRO-versionen med automatisk GA-koppling här

För att täcka flera av de vanligaste frågorna, har vi spelat in en demo som visar hur du steg för steg fyller i dokumentet, samt hur du sätter upp rapporter och segment som behövs.

Steg för steg – Så använder du kalkylatorn:

I demon använder vi oss av Google Merchandise Store (en sajt där Google säljer Google-grejer men som dom också låter partners använda som GA-demo-konto). Men du kan använda ett annat analysverkyg för att hitta den data som efterfrågas såklart.

Dessa olika moment gås igenom i vår Tutorial:

  • Beräkning för att A/B-testa Sitewide (01:05)
  • Beräkning för att A/B-testa på Startsidan (04:00)
  • Beräkning för att A/B-testa på Kategorisidan (06:30)
  • Beräkning för att A/B-testa på ”Checkout-page” (11:55)
  • Beräkning för att A/B-testa på ”Checkout-complete” (11:55)
  • Hur du läser av och använder tabellen (16:15)

Visade det sig att du inte kan A/B-testa? Ingen fara.

Om du inte kan A/B-testa: Optimera så här

Ställ gärna frågor i kommentarsfältet nedan, det kan hjälpa andra med samma fundering.

Läs även

Conversionista is open for business in The Netherlands.
Conversionista is open for business in The Netherlands. Read more.