På en solfylt onsdag (24.5) arrangerte Conversionista et frokostseminar der vi fikk besøk av CRO-ekspert Andreas Gref (eller AG som han kaller seg) fra Conversionista Sverige. Han fortalte og viste engasjerte fremmøtte hvordan de gjennom eksperimentering hjalp Kronans Apotek med å øke lønnsomheten med imponerende 11%. Samtidig klarte de å øke valg av grønne frakt-alternativ med 25%.
Nedenfor finner du key takeaways fra seminaret, samt et redigert video-opptak fra seansen.
AG oppfordrer deltagerne til å begynne og tenke på eksprimentering.
Kronans Apotek – dette er bakgrunnen
Kronans Apotek er et offline og online apotek med butikker over hele Sverige. For online-bestillinger tilbyr de flere ulike frakt-alternativ. Når Kronans Apotek tok kontakt med Conversionista i fjor høst så ønsket de hjelp med å øke lønnsomheten i nettbutikken. Som mange andre nettbutikker opplevde de press på marginene. Kronens apotek utfordret derfor Andreas og hans team på å komme opp med en løsning der de kunne ta betalt for frakt, og og øke antall grønne leveranser.
Det meste av apotekets omsetning kommer fra ikke-reseptbelagte medisiner. Som med så mange andre selskaper opplevde de at frakt-alternativene de da tilbød ikke var god lønnsomme nok. Når de da trakk fraktkostnaden fra profittmarginen på en enkeltordre så de at mange av ordrene var net negative. Med andre ord – når kunden legger en bestilling så blir det minus for Kronans Apotek.
Så når man da skal optimere for fraktpris – hva gjør man da?
Det Kronans fremfor alt gjorde var at de tittet på sine konkurrenter og gjorde konkurrentanalyser. Dette har de gjort systematisk i lang tid. Hver uke sjekker de alle sine konkurrenter, ser hvilke frakt-alternativ de har, hvilke grenser for fri frakt de har, og hvor mye tar de betalt hvis man som kunde er under fraktgrensen. Og hvis da noen konkurrenter gjør en endring, så må Kronans ta en beslutning der og da om de også skal gjøre en endring. Det var metoden de jobbet etter.
Og, hvilke parametre målte de? Alt ble målt mot konverteringsrate og gjennomsnittlig størrelse på handlekurv. Men var dette riktige mål å måle seg mot?
Hvor kommer Conversionista inn?
Andreas og hans team startet prosjektet med å gjøre spørreundersøkelser på nettsiden og en typisk funnel analyse. De så ganske raskt at det var det noe som skurret. For å komme nærmere sannheten gjennomførte de en A/B test i 3 dager der de fjernet alternativet om gratis frakt. Resultatet var at konverteringen gikk reelt ned, mens average order value gikk opp. Her fikk de de første indikasjonene på at det begynte å skje saker dersom de rotet litt med fraktprisene.
I neste steg satt de opp en matrisetesting, der de testet mange kombinasjoner av fri frakt grense og faktisk pris. Ikke for å få statistisk signifikante svar, men snarere for å få indikasjoner på i hvilke retning testene pekte. De begynte så å se et mønster, et mønster som ga større og større utslag. De så også at eksperiment-resultatene gikk tvert imot det folk svarte i spørreundersøkelsene. Folk sier èn ting, men gjør èn annen. Dette er ikke noe nytt i CRO-verden, men her så teamet at kombinasjonen av spørreundersøkelser og konkurrentanalyse ikke var den rette fremgangsmåten.
Men hva nå? Hvordan skulle de få frem beslutningsriktig innsikt?
Andreas og teamet hans definerte følgende parametrene de kunne jobbe med for frakt-alternativene i check out:
- Hvilke fraktalternativ skal man vise?
- I hvilken rekkefølge skal de stå?
- Hva skal grensen for fri frakt være?
- Hva skal prisen være?
Deretter måtte de koke det ned til et strammere eksperiment der disse 4 alternativene ble ivaretatt og testet uten støy fra andre variabler.
Og så var det dette med målene. Husk at Kronans Apotek ønsket å begynne å ta betalt for frakt, og øke andelen grønne frakt-leveranser. Og, at konverteringsgrad og gjennomsnittlig handlekurv er fungerte som mål i jakten på økt lønnsomhet. De hadde altså et uttrykt mål som de ønsket at Conversionista skulle optimere for, men ved hjelp av KPIer som ikke klarte å måle dette.
Teamet til Andreas transformerte derfor nevnte mål til nye metrics eller verdier. Og da ble det disse, i rangert rekkefølge:
- Net profit
- Revenue
- Share of green delivery
Dette igjen betød at de trengte ny data. Typisk mangler man gjerne både produktmargin, samt frakt og håndteringskostnader når man ser på net profit. Tallene fikk de heldigvis av andre avdelinger.
Da hadde de alt de trengte til å sette i gang med eksperimentet.
Kort fortalt testet de med en orginal-versjon der ett alternativ alltid er gratis frakt – uansett størrelse på bestillingen. Fraktleverandørene som ble inkludert i testen var Postnord og Instabox for å koke det ned til noe passe stort av omfang, men samtidig dekke flest mulig ordre. De tok så frem et antall varianter og økte fri frakt grensen til 199 kroner, uavhengig av frakt-alternativ. For at alle varianter skulle bli forhåndsvalgt byttet Postnord og Instabox plass i testen. Selvsagt kunne de testet ulike varianter der rekkefølgen var ulik, men teamet til Andreas visste med stor sikkerhet at når noe er forhåndsvalgt, så øker andelen der. Og de ville jo samtidig øke andelen grønne leveranser. Disse pris-kombinasjonene ble testet:
Etter to uker med eksperimentering hadde de nådd ca 100 000 besøkere i check out, og ca 60 000 transaksjoner.
Når resultatet kom, var det 1 variant som pekte seg ut:
Alternativet med de dyreste frakt alternativene ga en dropp i konverteringsrate – 14%! Vanligvis ville kunden ropt «stopp, stopp, rull tilbake». Men det var jo ikke konverteringer vi skulle måle mot! Samtidig så de antallet bestillinger som var net negative falt med -74%!
Når de så summerte opp så de at nedgangen i konverteringsrate og bestillinger ga en økt nettofortjeneste på 11%, og 2% økt omsetning. Samtidig økte de andelen av grønne frakt-alternativer med 25%.
Så er det store spørsmålet: Kan man finne ut av dette uten å gjøre det med eksperimentering? Det korte svaret er nei. Det er for mye støy og for mange parametere til å kunne kontrollere.
10 gode tips for å gjøre slik eksperimentering selv:
- Definer forretningsproblemet
- Finn de riktige KPIene
- Ha tilgjengelige data som kan svare på disse KPIene
- Gjør pre-test analyser (for å være sikker på at man kan statistisk være sikker på å oppdage en interessant endring)
- Definer hvordan du skal analysere resultatet før du kjører testen
- Kommuniser i organisasjonen
- Sett opp A/B test
- Kjør A/B test så lenge som bestemt
- Hold deg til analyse-reglene du satte opp
- Kommuniser og implementer potensielle vinnere
Hva om A/B test ikke kan gjøres
Av og til er ikke A/B test det beste alternativet. Det kan være juridiske grunner, måter de besøkende kommuniserer med hverandre på, eller andre hensyn å ta stilling til.
Du kan da bruke to andre test-metoder; Painted door test og switchback experiment.
Switchback experiment er litt som det høres ut. Du skrur av og på kontroll og variant, men de er aldri i gang samtidig. Det er bra å bruke denne form for eksperimentering når:
- Adferden til kunder påvirker andre kunder
- Kunder snakker med hverandre
Painted door test er en test der du introduserer et element eller funksjon som ikke gjør noen ting, men måler hvor mange som prøver å interagere med det. På den måten kan du finne ut om noe er verd å forfølge og utvikle.
TRENGER DU HJELP MED DIN EKSPERIMENTERING? KONTAKT OSS FOR EN UFORPLIKTENDE PRAT
