Para aumentar a significância dos seus testes AB, você precisa fazer uma de três coisas:
- Aumentar o tamanho da sua amostra
- Criar um Uplift maior
- Produzir dados mais consistentes (com menos variação)
Em termos práticos, isso significa que há algumas coisas que você pode fazer…
Passos práticos para aumentar o tamanho da sua amostra
1) Execute seus testes por mais tempo, arriscando a chance de que seus dados sejam poluídos. A maioria dos browsers apaga quaisquer cookies no prazo de um mês (alguns apagam-nos após duas semanas). Como as ferramentas de teste AB usam cookies para classificar seus visitantes no grupo A e grupo B, testes longos correm o risco de amostragem cruzada.
2) Direcione mais do seu tráfego para suas páginas de teste. Você pode fazer isso incluindo um link da página inicial, usando seu teste como uma página de destino ou ajustando a ordem de suas páginas. Infelizmente, isso também corre o risco de criar um viés, já que seu tráfego será composto por diferentes tipos de pessoas (pesquisando coisas).
Passos práticos para criar um Uplift maior
1) Tente uma variação mais significativa. Cores dos botões, texto CTA e títulos podem causar um grande impacto, mas apenas em alguns casos. Outras vezes, são necessárias edições mais substanciais para criar um efeito. Suas variações são mais prováveis de criar um Uplift quando comunicam sua oferta ou seu valor de uma nova maneira.
2) Uma das variações mais bem sucedidas a tentar é uma versão da sua página web com notificações persuasivas instaladas. Estas chamam a atenção dos seus visitantes e podem ser usadas para criar efeitos psicológicos tais como Social Proof, FOMO e Urgency.
3) Outra forma de criar Uplift é reduzir o Friction na sua página. Você pode fazer isso removendo o número de campos em um formulário, adicionando texto útil ou dicas visuais, ou com notificações de Friction.
Como produzir dados mais consistentes
Datas particulares podem ter um efeito imprevisível na sua taxa de conversão. Se você combinar um evento como a Sexta-feira Negra com um Bandido Multi-Armed, seus testes podem produzir uma variação maior. Tente executar o seu teste em dias específicos, ou datas específicas, para excluir anomalias.