Um die Signifikanz Ihrer AB-Tests zu erhöhen, müssen Sie eines von drei Dingen tun:
- Erhöhen Sie Ihren Stichprobenumfang
- Erzeugen Sie einen größeren Uplift
- Erzeugen Sie konsistentere Daten (mit weniger Varianz)
Praktisch bedeutet das, dass Sie ein paar Dinge tun können…
Praktische Schritte zur Erhöhung Ihres Stichprobenumfangs
1) Führen Sie Ihre Tests länger durch und riskieren Sie dabei, dass Ihre Daten verunreinigt werden. Die meisten Browser löschen alle Cookies innerhalb eines Monats (einige löschen sie nach zwei Wochen). Da AB-Testing-Tools Cookies verwenden, um Ihre Besucher in Gruppe A und Gruppe B einzuteilen, besteht bei langen Tests die Gefahr eines Cross-Samplings.
2) Leiten Sie mehr Ihrer Besucher auf Ihre Testseiten. Das können Sie tun, indem Sie einen Link von der Homepage einfügen, Ihren Test als Landing Page nutzen oder die Reihenfolge Ihrer Seiten anpassen. Leider besteht auch hier die Gefahr einer Verzerrung, da sich Ihr Traffic aus verschiedenen Arten von Menschen (die etwas suchen) zusammensetzt.
Praktische Schritte für einen größeren Uplift
1) Versuchen Sie es mit einer stärkeren Variation. Button-Farben, CTA-Text und Titel können eine große Wirkung haben, aber nur in manchen Fällen. In anderen Fällen sind umfangreichere Änderungen erforderlich, um eine Wirkung zu erzielen. Ihre Variationen werden am ehesten einen Uplift bewirken, wenn sie Ihr Angebot oder Ihren Wert auf eine neue Art und Weise vermitteln.
2) Eine der erfolgreichsten Variationen, die Sie ausprobieren sollten, ist eine Version Ihrer Webseite mit überzeugenden Benachrichtigungen. Diese erregen die Aufmerksamkeit Ihrer Besucher und können psychologische Effekte wie Social Proof, FOMO und Dringlichkeit erzeugen.
3) Eine weitere Möglichkeit, Uplift zu erzeugen, besteht darin, die Reibung auf Ihrer Seite zu verringern. Sie können dies tun, indem Sie die Anzahl der Felder in einem Formular entfernen, hilfreiche Texte oder visuelle Hinweise hinzufügen oder mit Friction-Benachrichtigungen arbeiten.
Wie Sie konsistentere Daten produzieren
Ein bestimmtes Datum kann einen unvorhersehbaren Effekt auf Ihre Konversionsrate haben. Wenn Sie ein Ereignis wie den „Black Friday“ mit einem „Multi-Armed Bandit“ kombinieren, können Ihre Tests zu einer erhöhten Varianz führen. Versuchen Sie, Ihre Tests an bestimmten Tagen oder an bestimmten Daten durchzuführen, um Anomalien auszuschließen.