Optimizely släpper Stats Engine – en ny beräkningsmodell för A/B-tester

Simon Dahla

Klassiska statistiska beräkningar (inklusive A/B-tester) baseras enkelt sett på att urvalsstorleken är bestämt på förhand. Därav vikten av att använda verktyg så som Sample Size Calculator som först drar och analyserar resultatet när du fått in beräknad mängd data.

Utan den metoden riskerar du att stoppa testen för tidigt och får då ett resultat som är falskt positivt, alltså att du uppmät en förändring som faktiskt inte existerar. Falsk-positiva förändringar vid A/B-testning är troligtvis ett av de vanligaste misstagen som uppstår hos företag som utför A/B-tester.

Aggregerad data från Optimizely visade på att många tester stoppas i förtid. Den nya statistiska motorn har använts retroaktivt på den aggregerade datan och visat sig vara fem gånger bättre på att utse en korrekt vinnare. Verktyget kommer alltså inte visa tillfälliga statistiska toppar som statistisk signifikanta, vilket är bra.

stats-engine

Optimizely har kombinerat sk. sequential testing och falsk-negativa kontroller med i Stats Engine för att redovisa korrekta resultat oavsett hur stor din urvalsstorlek är.

Stats Engine kommer (förhoppningsvis) minska risken att utse en testvinnare eller testförlorare som inte är korrekt utan att kräva mer tid för själva testet.

Optimizely har anpassat den statistiska motorn i sitt verktyg för att hjälpa individer som inte är statistiker att fatta bättre beslut.

Den nya statistiska motron, Stats Engine, kommer vara standard för alla tester som startas efter nästa vecka.

Se videon som förklarar Stats Engine


Stats Engine

Teknisk specfikation med matematiken bakom Stats Engine

Läs hela artikeln på Optimizelys blogg

Läs även

Gå in i det nya decenniet med Atomic Research

Gå in i det nya decenniet med Atomic Research

Av Johanna Norberg & Magdalena Sjöstrand 8 januari, 2020

Conversionista – nu i familj om fem bolag 🙌

Conversionista – nu i familj om fem bolag 🙌

Av Malin Holmberg 4 december, 2019

Allt du behöver veta om Atomic Research

Allt du behöver veta om Atomic Research

Av Johanna Norberg & Magdalena Sjöstrand 5 november, 2019