Wofür ist ein A/A-Test geeignet?

Ein A/A-Test ist ein A/B-Test , mit dem Unterschied, dass die beiden Varianten, die das Nutzererlebnis bilden, identisch sind. Ein A/A-Test hilft Marketingfachleuten, die Korrektheit der Einrichtung und die Zuverlässigkeit einer A/B-Test Software zu überprüfen.

A/A-Tests sind eine gute Technik, um den Zustand der Integration eines Tools in eine Website zu überprüfen. Darüber hinaus ist es gut, die Qualität der Ausführung (Wahl der Variation und Klebrigkeit), die Datenerfassung und die Integrität des Tools zu überprüfen und sicherzustellen, dass keine Daten verloren gehen oder verändert werden.

Wenn der A/A-Test beispielsweise eine gleichmäßige Aufteilung des Traffics vorsieht, hofft man, dass sich der Traffic im Laufe der Zeit tatsächlich gleichmäßig auf die beiden Varianten verteilt und dass die KPIs in etwa gleich sind.

Dies alles hat übrigens nichts mit der Statistik-Engine selbst zu tun, die die gesammelten Daten als Input identifiziert.

A/A-Tests können auch verwendet werden, um die Zuverlässigkeit der Statistik-Engine selbst zu untersuchen, aber dabei muss man sich darüber im Klaren sein, dass ein A/A-Test ein sehr spezifisches, untypisches Szenario für die Funktionsweise einer AB-Testing-Statistik-Engine darstellt. Daher ist dieser Test in Bezug auf dieses Ziel sehr begrenzt. Sie sollten auch wissen, was Sie von einer AB-Test-Statistik-Engine in solchen Szenarien erwarten können.

Wie man einen effektiven A/A-Test entwirft

Man muss sich zunächst vergewissern, dass die Integration mit dem Tool intakt ist und dass das Tool richtig verwendet wird.

Bei einem A/A-Test richtet der Benutzer einen AB-Test ein, fügt aber zwei identische Varianten ein, A und B, und da A=B ist, nennen wir es einen A/A-Test. Die Daten sollten über einen längeren Zeitraum gesammelt werden, und der Benutzer sollte anhalten, um die Ergebnisse mithilfe des Tools auszuwerten.

Was können Sie von einem A/A-Testprogramm erwarten?

Bei solchen Tests wird nach einer nicht allzu langen Zeit der Datenerfassung intuitiv erwartet, dass das Tool:

  • zeigen, dass beide Varianten ähnliche Ergebnisse haben
  • keinen Gewinner zu erklären
  • Wenn es über eine Funktion „Unentschieden erklären“ verfügt, sollte es dieses auch deklarieren

Wie können Sie einen effektiven A/A-Test durchführen?

Die Durchführung eines A/A-Tests ähnelt einem A/B-Test, nur dass in diesem Fall die beiden Nutzergruppen, die nach dem Zufallsprinzip für jede Variante ausgewählt werden, genau die gleiche Erfahrung machen. Da die beiden Benutzergruppen genau die gleiche Behandlung erfahren, erwarten wir, dass die KPIs der beiden Varianten in etwa gleich sind und dass die statistische Engine, die den Test antreibt, auf unbestimmte Zeit unschlüssig bleibt.