Låt oss i god tid rädda dig från att A/B-testa i december. Att A/B-testa är ett av de kraftfullaste verktygen för att optimera din hemsida, men det finns flera saker att tänka på för att lyckas. Eller för att inte totalt misslyckas.
Konstanta Optimerare,
Vilken tur att du läser detta, det kommer att göra dig till en hjälte på kontoret. Du kommer nämligen rädda ditt företag från förlorad tid, felaktiga beslut och tappade kunder. Bra va?
OBS: Du kan A/B-testa i december, men läs posten först.
Anledningen till varför det är en dålig idé att testa i december:
Trafiken ÄR avvikande
Låt oss titta på två trafikrapporter, närmare bestämt Audience Overview och E-commerce Overview. Det spelar mindre roll vems GA vi tjuvkikat i, stora Svenska e-handlare räcker som referens.
Kolla på trafiken i december:
Okej, ett starkare case: titta på den här puckeln alltså:
Ytterligare ett, häng med:
Sidenote: för dig som kör GA på svenska, byt till engelska på en gång, när du stöter på problem och behöver googla kommer du få hundra gånger mer hjälp på engelska.
Är inte mer trafik bra?
Nej, inte under de förhållandena.
Lås oss förklara.
Om du driver en e-handel har du, surprise, med stor sannolikhet en trafik- och konverteringsspik i december som är unik för året. Du älskar den här spiken.
BOOM vad mycket du säljer.
Du tänker ”Låt det vara så hela året – Låt oss ta lärdomar från denna tid; testa användarna och se vad som får dem att konvertera?”
Nej. Nej nej nej.
För att det ska gälla ska följande också vara sant:
Dina besökares beteende är representativt för övriga året
Du har inga yttre faktorer som påverkar beteendet
Mer trafik kommer med största sannolikhet ge signifikanta testresultat som är valida, för JUST DEN perioden och SPECIFIKT DET användarbeteendet.
Ett exempel:
Ditt företag kör 3 för 2 (konverterar för övrigt bättre än 33%) på utvalda produkter, för att pusha det trycker företaget ut en stor tv-kampanj. Samtidigt har IT just implementerat en ny betalningsmetod. Sen får du också reda på att kollegan på marketing kör remarketing på Facebook.
Du A/B-testar knappfärg (vilket för övrigt är ett dumt men enkelt test, det handlar snarare om kontrast) och får ett signifikant resultat, den orangea vinner! Yey. Tv-kampanjen upphör, er Adwords-budget tog slut halvvägs in i testet och där står du med en orange knapp som inte längre konverterar så bra. Det skulle visa sig att besökarnas avsikter och beteende var helt annorlunda än det normala.
Resultatet är sant, men bara under de specifika förhållandena.
Vad innebär det för din optimering?
Dina besökare beter sig annorlunda under julruschen. Tester i december kommer ge dig insikt i julkampanjer, men vill du verkligen generalisera dina findings och rulla ut med dom efter julen? Troligtvis inte.
Så du behöver med stor sannolikhet köra om dina test i januari i alla fall.
Eller om du säljer gymkort online, samma sak fast spik i januari.
Utlandsresor, regnveckan i höst.
Osv osv. Du fattar vad vi menar?
Ta lärdom till nästa jul?
Nu tänker du, ”Ah, men det jag upptäckte den här julen kommer gälla nästa jul. Låt oss optimera för spiken nästa år!” Inte alls omöjligt men inte så fort, din affär och bransch kan se helt annorlunda ut då.
Det finns en anledning till varför A/B-tester inte ska pågå för länge.
Beteenden online förändras över tid, och påverkas av yttre faktorer. Därför är optimering och A/B-testning ingen engångsföreteelse utan ett löpande projekt. På samma sätt, vinnande version idag kanske inte är den vinnande om 1, 2 eller 3 år.
Ett riktigt case
Vi ökade försäljningen med 6% i ett projekt med Swedoffice, det var resultatet av flera tester, envishet och noggranna analyser.
Första testet startade i november, gick i mål men resultatet gav ingen uplift. Vi justerade hypotesen efter en viktig insikt och hade nu en riktigt genomarbetad hypotes.
Det andra testet startade i december. Testet gick i mål i januari, trafiken hade ökat men resultatet var varken signifikant eller visade på någon skillnad. Försäljningen stod stilla både i original- och testversion.
I och med att vi var medvetna om att vi testade över julveckorna och däri hade avvikande beteenden, tog vi i analysen hänsyn till det.
Eureka! Det var B2B e-handel. Och det var jul-tider.
Vi plockade bort specifikt julveckorna ur testet och kollade bara på trafiken innan och efter jul, – och DÅ kunde vi identifiera en beteendeförändring.
Besökarnas beteende ska vara representativt för övriga året
Det finns inga yttre faktorer som påverkade beteendet
Ok, du fattar. Men vad ska du göra istället?
Läs denna bloggposten: Mobil e-handel: Julens just f*ign do it.
Om du ska testa i december, se till att ha din testplan klar, se det här underbara spreadsheetet! ”Vanliga” tester pågår fram till 1 december, sen vidtar ”jul”-tester.
Leverans innan den 24e?
Förra året gjorde vi en undersökning av Svenska e-handlare och hur väl de optimerat dagarna innan jul, för det kritiska momentet ”leverans innan jul”.
Optimerad kommunikation: Så här bemöter du leverans-oron i december
Foto: Postnord – E-barometern Q3 2014
Bli bättre på A/B-testning
Utbilda dig till Conversion Manager och lär dig CRO.
