Per aumentare la significatività dei tuoi test AB, devi fare una delle tre cose:
- Aumentare la dimensione del campione
- Creare un Uplift più grande
- Produrre dati più consistenti (con meno varianza)
In termini pratici, ciò significa che ci sono alcune cose che puoi fare…
Passi pratici per aumentare la dimensione del campione
1) Esegui i tuoi test per più tempo, rischiando la possibilità che i tuoi dati vengano inquinati. La maggior parte dei browser cancella i cookie entro un mese (alcuni li cancellano dopo due settimane). Poiché gli strumenti di test AB utilizzano i cookie per ordinare i tuoi visitatori nel gruppo A e nel gruppo B, i test lunghi corrono il rischio di un campionamento incrociato.
2) Dirigi più traffico verso le tue pagine di test. Puoi farlo includendo un link dalla homepage, usando il tuo test come una landing page o regolando l’ordine delle tue pagine. Sfortunatamente, questo corre anche il rischio di creare una distorsione, poiché il tuo traffico sarà composto da diversi tipi di persone (che cercano cose).
Passi pratici per creare un maggiore uplift
1) Prova una variazione più significativa. I colori dei pulsanti, il testo CTA e i titoli possono avere un grande impatto, ma solo in alcuni casi. Altre volte, sono necessarie modifiche più sostanziali per creare un effetto. Le tue variazioni hanno più probabilità di creare un Uplift quando comunicano la tua offerta o il tuo valore in un modo nuovo.
2) Una delle variazioni di maggior successo da provare è una versione della tua pagina web con notifiche persuasive installate. Queste catturano l’attenzione dei tuoi visitatori e possono essere usate per creare effetti psicologici come il Social Proof, FOMO e Urgency.
3) Un altro modo per creare Uplift è quello di ridurre l’attrito sulla tua pagina. Puoi farlo rimuovendo il numero di campi in un modulo, aggiungendo testo utile o spunti visivi, o con notifiche di Friction.
Come produrre dati più coerenti
Date particolari possono avere un effetto imprevedibile sul tuo tasso di conversione. Se combini un evento come il Black Friday con un Multi-Armed Bandit, i tuoi test potrebbero produrre una maggiore varianza. Prova ad eseguire il tuo test in giorni specifici, o in date specifiche, per escludere le anomalie.
.