Ett snyggt trick för bättre experiment

Sample rate mismatch (SRM) är ett vanligt men osynligt problem som drabbar många A/B-tester. Men följderna kan vara allvarliga då det som du tror är en testvinnare själva verket är en förlorare. Men det finns sätt att upptäcka och hantera problem med SRM.

Det här är en intervju med Lukas Vermeer inför Conversion Jam. Intervjuare är John Ekman – Grundare av Conversionista.

John: Lukas Vermeer – välkommen som talare på årets Conversion Jam. Du kan väl börja med att presentera dig kort.

[Lukas]: Absolut, jag är Director of Experimentation på Booking.com. Jag är ansvarig för organisation, metoder och all infrastruktur som gör att vi kan experimentera i stor skala. Mitt mål är att möjliggöra för alla som jobbar med vår produkt att enkelt kunna använda experiment som en del i processen av kontinuerliga förbättringar, innovation och produktutveckling.

[John] Coolt jobb. Jag har pratat med dig förut och vet lite om hur ni jobbar. När jag föreläser brukar jag skoja och fråga – ”Vet ni hur många experiment som Lucks på booking.com gör varje år?….

[Paus] 

Svaret: Noll!

[Lukas] Haha! Ja, det är nästan sant. Man kan i alla fall säga att det inte är mitt ansvar att göra experiment, utan snarare att hjälpa andra att göra så många experiment som möjligt.

Alla som jobbar med vår produkt ska enkelt kunna använda experiment som en del i processen av kontinuerliga förbättringar, innovation och produktutveckling.

[John] Ok, men låt oss nu gå vidare till din presentation på årets Conversion Jam. Den ska handla om ”One neat trick to run better experiments”. Vad är det för trick?

[Lukas] Min presentation handlar om det som kallas ”Sample rate mismatch” eller SRM. SRM är ett vanligt förekommande fel i många A/B-tester som gör att man inte kan lita på resultatet och riskerar att dra fel slutsatser av testresultatet.

SRM är ett statistiskt symptom på ett tekniskt problem.

[John] ”Sample rate” det låter som någonting som har att göra med ett statistiskt fel, stämmer det?

[Lukas] Nja, inte riktigt. Snarare är det så att man har ett tekniskt fel som gör att alla test-sessioner inte räknas med i testet på ett korrekt sätt. Och det leder till att data och statistik inte bli tillförlitliga. Man kan säga att SRM är ett statistiskt symptom på ett tekniskt problem.

[John] Knepigt – kan du ge ett exempel?

[Lukas] Säg att vi kör ett test mot 20 000 besökare och allokerar trafiken 50/50, dvs 10 000 besökare per testvariant. Säg att konverteringsgraden är 5% för originalet, och 5,56 % för variationen, en uplift på drygt 10%. Det ger oss ett statistiskt signifikant resultat – variationen är bättre än originalet. Det ser ut som ett lyckat test eller hur?

Men så upptäcker vi att fördelningen på test-varianterna inte är 50/50, utan 55/45. Det betyder att någonstans i testet har vissa besökare inte räknats med. Det fattas besökare i varianten. Det låter kanske inte som någon big deal,  vi ser ju ändå tydligt antal konverteringar och konverteringsgraden för de olika varianterna?!

Men det resonemanget är fel eftersom det bygger antagandet att de testbesökare som fallit bort har samma konverteringsgrad som de som räknades testet. Ofta är det precis tvärtom. De besökare som har fallit bort har drabbats av ett problem som gör att de skulle haft högre eller mycket lägre konverteringsgrad om de hade varit med testet.

Gör ett  tankeexperiment och säg att vi ”hittar” de besökare som fallit bort i testet. De var 2000 stycken, och skulle varit med i variationen. Låt oss säga att de var ”bounces”, dvs besökare som kom in i experimentet men som inte gjorde någonting (och därför inte spårades). Deras konverteringsgrad hade varit 0 % om deras besök hade spårats korrekt. Och då ser vårt resultat ut så här istället:

Nu är experimentet signifikant – fast åt det andra hållet! Variationen är SÄMRE än originalet.

[John] Det låter verkligen inte bra att vi inte kan lita på våra testresultat. Du säger ”vanligt förekommande” hur vanligt är det egentligen?

[Lukas] Det är väldigt svårt att säga eftersom få av de kommersiella A/B-testverktygen räknar eller rapporterar SRM. Microsoft och LinkedIn har följt upp SRM i sina tester, och kommit fram till att mellan 5 -10 % av alla tester påverkas. Det här är stora företag som satsar mycket på A/B-testning och har mycket kompetens på området. Därför är det nära till hands att gissa att ett genomsnittligt testprogram på ett genomsnittligt företag har åtminstone lika stora problem som Microsoft och LinkedIn, troligen ännu större.

[John] Vad beror SRM på?

[Lukas] Oftast beror det på tekniska problem i testuppsättningen. Ett vanligt problem är att testet inte laddar och spårar som det ska i alla browser-varianter. En mer komplett lista på vanliga fel hittar du här.

[John] Ok, det här är alltså ett vanligt fel som kan få allvarliga konsekvenser. Men du är inte med Conversion Jam bara för att prata om problem, utan du har också lösningar eller hur?

[Lukas] Det stämmer. Vi har ett projekt och ett verktyg som hjälper dig att upptäcka om du har SRM i dina test-resultat. Det är ett Chrome plugin som du kan ladda ner här.

[John] Perfekt! Det är verkligen det vi vill att Conversion Jam ska handla om: konkreta tips och verktyg som gör dina experiment bättre.

Slutligen en liten anekdot om hur vi träffades den första gången. Du var talare på CXL Live i Austin, och hade pratat om vikten av att kunna formulera stringenta hypoteser för sina experiment. Efteråt gick jag fram till dig och la fram en hypotes:

”- Eftersom du, Lukas, är en otroligt kompetent och engagerande talare inom vårt område
– skulle du kunna tillföra ett stort värde genom att vara talare på vår konferens, Conversion Jam,
– vilket jag vill bevisa genom att bjuda in dig som talare och observera den speaker rating som besökarna ger dig”

Kommer du ihåg det?

[Lukas] Ja, det minns jag tydligt. När du kom fram och började prata kändes det först lite spooky, men sedan förstod jag vad du höll på med!

[John] Ja och nu är vi här, 1 ½ år senare. Och jag ska få bevisa min hypotes!

[Lukas] Exakt. Jag tror också på din hypotes, och om ett par veckor ska vi bevisa det!