Optimizely ♡ Universal Analytics Del 2: Kontrollera A/B-testet

Erik Öhlén

Optimizely Analytics for A/B-testing

När du A/B-testar är du intresserad av testresultatet. Du vill primärt veta om testet 1) är signifikant och 2) ger korrekt data. Vår manual visar dig hur.

Detta är en uppföljningspost till vår tidigare bloggpost ”Integrera A/B-testning & Analys” som hjälpte dig att koppla samman verktygen Optimizely och Universal Analytics (Google Analytics). När du följt instruktionerna från den posten, startat ditt A/B-test och fått in några dagars data bör du kontrollera att den ser riktig ut. I denna bloggpost beskriver vi hur!

Översikt TL;DR

  • Kontrollera så att alla som borde komma med i A/B-testet kommer med
  • Kontrollera konverteringar för målen
  • Skilj på sessions och users, jämför mellan verktygen
  • Felsök om siffrorna ej stämmer

Let’s get started!

1. Kolla så att alla relevanta besökare kommer med

Detta bör du göra så fort du har några dagar komplett data för ditt A/B-test. Om det är så att det är något fel med spårningen t.ex. från en viss mobilenhet eller browser så vill du upptäcka det tidigt innan hela perioden för A/B-testet gått, då det annars kan förvränga testresultatet och du behöver börja om från början. För att se till att alla besökare som borde komma med i ditt A/B-test verkligen gör det behöver du skapa två segment i Google Analytics.

Skapa ett nytt segment som matchar kriteriet för A/B-testet. Låt säga att A/B-testet exempelvis körs på startsidan och att endast om en besökare passerar startsidan så kommer de med i testet, då kan kriteriet vara “Filter Sessions Include > Page exactly matches “/“. Du bör därmed få ett segment som matchar besök som alla borde fått en version tilldelad i A/B-testet. Döp det till t.ex. “AB1-Should”:

Ett segment som matchar besök i ett A/B-test

Kopiera nu segmentet och döp nya kopian till exempelvis “AB1”, då segmentet kommer matcha alla besök som de facto fick en version tilldelad. Nedanför det existerande kriteriet för Page vi nyss satte, lägg till ett AND-kriteria. Vi satte i förra bloggposten (”Integrera A/B-testning & Analys”) upp en custom dimension för A/B-testet. Du kan nu hitta namnet du döpte din A/B custom dimension till i dropdownen. Sätt matchningen så att den matchar alla A/B-versioner t.ex. “Filter Sessions Include > [Din A/B custom dimension] contains “optimizely”.

Ett segmentet som matchar alla besök i ett A/B-test

Nu har vi alltså två segment som båda innehåller endast besök som passerade startsidan där A/B-testet körs, det ena visar dessutom bara de besök som fick en custom dimension tilldelad av Optimizely. Dubbelkolla att du har datumintervallet inställt på de hela dagar då A/B-testet varit aktivt.

Gå till rapporten Audience>Overview och kolla på rapportens statistik för Sessions och Users. Om allt stämmer bör det första segmentet “AB1-Should” innehålla ungefär lika många Sessions och Users som det andra segmentet “AB1”. Vill du vara extra säker kan du även skapa ett segment i stil med “AB1-Missing” där du kopierar ditt “AB1”-segment, men istället för “Filter Sessions Include > [Din A/B custom dimension] contains “optimizely” sätter motsatsen: “Filter Sessions Exclude > [Din A/B custom dimension] contains “optimizely”. Detta missing-filter bör då vara ömsesidigt exklusivt med “AB1”-filtret och de bör tillsammans utgöra lika många besök/besökare som “AB1-Should”.

Jämför även antalet Users du får från segmentet “AB1” med den sammanlagda mängden Visitors som Optimizely anger för samma period.

Users-Sessions in Google Analytics when A/B-testing

Om siffror här inte matchar kan du ha problem med distributionen i A/B-testet. Kontrollera att Optimizely-skriptet ligger inne och körs ordentligt på alla sidor. Dubbelkolla filtrering för intern trafik så den är likadan för både Google Analytics (GA) och Optimizely. Jämför de två segmenten “AB1-Should” och “AB1” över olika andra dimensioner i dina GA-rapporter för att se om exempelvis någon trafikkälla, browser, landningssida, geografisk plats, etc. är överrepresenterad i differensen mellan dessa två segment.

2. Kolla mängd och fördelning för varje A/B-version

Skapa ett nytt segment för varje version i A/B-testet genom att upprepa processen för när du satte upp ett segment som matchade alla versioner. Döp exempelvis det första segmentet till “AB1-Org” och sätt matchningen “Filter Sessions Include > [Din A/B custom dimension] contains “original”.

Skapa på samma sätt ett segment för var och en av variationerna.

Mängd och fördelning för varje A/B version

Jämför nu statistiken från Audience > Overview och se till att:

a) Alla A/B-versionerna tillsammans, har lika många Sessions/Users som segmentet ”AB1”
b) Att A/B-versionerna har lika många Sessions/Users sinsemellan.

Om de två A/B-versionerna tillsammans har fler Sessions eller Users än vad segmentet “AB1” har – så antyder det att det finns en överlappning i datan och att besökare tilldelats fler än en version under perioden.

Kontrollera överlappning i datan vid A/B-testning

Kontrollera datumintervallet och exempelvis att du ställt in din custom dimension på “session” eller “visitor” och inte “pageview” när du satte upp den i förra bloggpost-delen under “Admin>Property>Custom Definitions>Custom Dimensions”.

3. Kolla konverteringar på besökarnivå

Optimizely och Google Analytics definerar vad som är en konvertering lite olika. Detta gör att de konverteringsgrader som de anger by default i sina gränssnitt för de mål du ställt in skiljer sig åt.

Optimizely på besökar-nivå
– Visitors who Converted once or several times / Visitors = % Conversion Rate

Google Analytics, besöks-nivå:
– Sessions including one or several conversions / Sessions = % Conversion Rate

Samma siffror i Analytics som i Optimizely

För att kunna jämföra antal konverteringar och konverteringsgrad inuti Google Analytics med samma siffror i Optimizely behöver du använda segment och Audience>Overview-metod som du använt ovan för att kontrollera A/B-testets omfång och trafik per A/B-version.

Börja med att kopiera segmentet “AB1-Org” och lägg sedan till ett kriterium så att besöken (förutom att de ska ha tilldelats A/B-version “original”) även ska matcha kriteriumet för det konverteringsmål du vill jämföra. Om du exempelvis vill se konvertering för Genomförda köp och du har en URL för din kvittosida uppsatt som mål i Optimizely, lägg till ett AND-kriterium för samma kvittosida till den nya kopian av “AB1-Org” och döp den “AB1-Org-Conv”.

Gå sedan tillbaka till Audience>Overview och under Users bör nu antal Users i segmentet “AB1-Org” stämma med antal Visitors för original-versionen inuti Optimizely. Likaså bör antalet Users i “AB1-Org-Conv” stämma med antal Conversions inuti Optimizely. Upprepa processen för varje A/B-version och jämför med Optimizely.

Här bör du kunna upptäcka tidigt om någon av variationerna inte registrerar konverteringar eller om det finns en stor differens mellan Optimizely och Google Analytics. Om det till exempel finns mindre konverteringar i Optimizely, kontrollera att Optimizely-koden finns på alla sidor. Ett vanligt fel är att man glömt att lägga in Optimizely på t.ex. en subdomän där en beställning eller ett köp slutförs. Då GA-skriptet ligger på subdomänen dyker konverteringarna upp i Google Analytics men inte i Optimizely.

Du kommer även kunna använda dessa segment du satt upp för att kontrollräkna uplift och statistisk signifikans senare när A/B-testet fått in mer data och är dags att analyseras.

Läs även

Gå in i det nya decenniet med Atomic Research

Gå in i det nya decenniet med Atomic Research

Av Johanna Norberg & Magdalena Sjöstrand 8 januari, 2020

Conversionista – nu i familj om fem bolag 🙌

Conversionista – nu i familj om fem bolag 🙌

Av Malin Holmberg 4 december, 2019

Allt du behöver veta om Atomic Research

Allt du behöver veta om Atomic Research

Av Johanna Norberg & Magdalena Sjöstrand 5 november, 2019