For at øge signifikansen af dine AB-tests skal du gøre en af tre ting:
- Og øge din stikprøvestørrelse
- Skab et større Uplift
- Producer mere konsistente data (med mindre varians)
Praktisk set betyder det, at der er et par ting, du kan gøre…
Praktiske skridt til at øge din stikprøvestørrelse
1) Kør dine test i længere tid og risikér, at dine data bliver forurenet. De fleste browsere sletter alle cookies inden for en måned (nogle sletter dem efter to uger). Da AB-testværktøjer bruger cookies til at sortere dine besøgende i gruppe A og gruppe B, er der ved lange tests risiko for krydssampling.
2) Diriger en større del af din trafik til dine testsider. Det kan du gøre ved at inkludere et link fra hjemmesiden, bruge din test som en landingsside eller ved at justere rækkefølgen af dine sider. Desværre risikerer dette også at skabe en skævhed, da din trafik vil bestå af forskellige typer af mennesker (der søger på ting).
Praktiske trin til at skabe et større løft
1) Prøv en mere markant variation. Knapfarver, CTA-tekst og titler kan have en stor effekt, men kun i nogle tilfælde. Andre gange er det nødvendigt med mere væsentlige redigeringer for at skabe en effekt. Dine variationer har størst sandsynlighed for at skabe et Uplift, når de kommunikerer dit tilbud eller din værdi på en ny måde.
2) En af de mest succesfulde variationer at prøve er en version af din webside med overbevisende notifikationer installeret. Disse fanger dine besøgendes opmærksomhed og kan bruges til at skabe psykologiske effekter som Social Proof, FOMO og Urgency.
3) En anden måde at skabe Uplift på er at reducere Friktion på din side. Det kan du gøre ved at fjerne antallet af felter i en formular, tilføje hjælpsom tekst eller visuelle signaler eller med Friction notifikationer.
Sådan producerer du mere konsistente data
Partikulære datoer kan have en uforudsigelig effekt på din konverteringsrate. Hvis du kombinerer en begivenhed som Black Friday med en Multi-Armed Bandit, kan dine tests give øget varians. Prøv at køre din test på bestemte dage eller bestemte datoer for at udelukke anomalier.