Pour augmenter la signification de vos tests AB, vous devez faire l’une des trois choses suivantes :
- Augmenter la taille de votre échantillon
- Créer un Uplift plus important
- Produire des données plus cohérentes (avec moins de variance)
En termes pratiques, cela signifie qu’il y a quelques choses que vous pouvez faire…
Mesures pratiques pour augmenter la taille de votre échantillon
1) Exécutez vos tests pendant plus longtemps, en prenant le risque que vos données soient polluées. La plupart des navigateurs suppriment tous les cookies dans un délai d’un mois (certains les suppriment après deux semaines). Étant donné que les outils de test AB utilisent les cookies pour trier vos visiteurs en groupe A et groupe B, les tests longs font courir le risque d’un échantillonnage croisé.
2) Dirigez une plus grande partie de votre trafic vers vos pages de test. Vous pouvez le faire en incluant un lien depuis la page d’accueil, en utilisant votre test comme page de destination ou en ajustant l’ordre de vos pages. Malheureusement, cela risque également de créer un biais, puisque votre trafic sera composé de différents types de personnes (cherchant des choses).
Étapes pratiques pour créer une plus grande remontée
1) Essayez une variation plus importante. Les couleurs des boutons, le texte CTA et les titres peuvent avoir un impact important, mais seulement dans certains cas. D’autres fois, des modifications plus importantes sont nécessaires pour créer un effet. Vos variations sont plus susceptibles de créer un Uplift lorsqu’elles communiquent votre offre ou votre valeur d’une nouvelle manière.
2) L’une des variations les plus réussies à essayer est une version de votre page web avec des notifications persuasives installées. Celles-ci attirent l’attention de vos visiteurs et peuvent être utilisées pour créer des effets psychologiques tels que la preuve sociale, le FOMO et l’urgence.
3) Une autre façon de créer un Uplift est de réduire la friction sur votre page. Vous pouvez le faire en supprimant le nombre de champs dans un formulaire, en ajoutant du texte utile ou des repères visuels, ou avec des notifications de Friction.
Comment produire des données plus cohérentes
Des dates particulières peuvent avoir un effet imprévisible sur votre taux de conversion. Si vous combinez un événement comme le Black Friday avec un bandit à plusieurs bras, vos tests pourraient produire une variance accrue. Essayez d’exécuter votre test sur des jours spécifiques, ou des dates spécifiques, pour exclure les anomalies.