ABテストの有意性を高めるには、次の3つのうち1つを行う必要があります。
- サンプルサイズを増やす
- より大きなUpliftを作成する
- より一貫したデータ（分散が少ない）を作成する
実用的には、それはあなたができるいくつかのことがあることを意味します…
サンプルサイズを増やすための実践ステップ
1）データを汚染する可能性を冒し、テストを長く実施することです。 ほとんどのブラウザーは、1 か月以内に Cookie を削除します (2 週間後に削除するものもあります)。 AB テスト ツールは Cookie を使用して訪問者をグループ A とグループ B に分類するため、長いテストはクロス サンプリングのリスクを伴います。 あなたは、ホームページからのリンクを含めること、ランディングページとしてテストを使用すること、またはあなたのページの順序を調整することによって、それを行うことができます。
Practical Steps To Create a Larger Uplift
1) より大きなバリエーションを試してみる。 ボタンの色、CTAテキスト、タイトルは大きなインパクトを与えることができますが、それは一部のケースに限られます。 それ以外の場合は、効果を出すために、より大幅な編集が必要です。
2) 試すべき最も成功するバリエーションの1つは、説得力のある通知をインストールしたWebページのバージョンです。 これらは訪問者の注意を引き、社会的証明、FOMO、緊急性などの心理的効果を生み出すために使用できます。
3) アップリフトを生み出すもうひとつの方法は、ページ上の摩擦を減らすことです。 これは、フォームのフィールド数を減らす、役立つテキストや視覚的な手がかりを追加する、または摩擦を通知することによって行うことができます。
より一貫したデータを作成する方法
特定の日付はコンバージョン率に予測できない影響を与える可能性があります。 ブラックフライデーのようなイベントと多腕バンディットを組み合わせた場合、テストのばらつきが大きくなる可能性があります。 特定の日、または特定の日付にテストを実行し、異常値を除外してください。