Der A/A-Test: prüfen, ob dein A/B-Test-Setup sauber misst

Ein A/A-Test stellt zwei identische Varianten gegeneinander statt zwei verschiedene wie beim A/B-Test. Der Sinn: Wenn beide Seiten exakt gleich sind und dein Tool trotzdem einen klaren „Gewinner“ meldet, stimmt am Setup etwas nicht. Falsche Auswertung, kaputtes Tracking oder eine zu kleine Stichprobe. Der A/A-Test ist kein Pflichtschritt, aber ein gutes Mittel gegen falsche Schlüsse, bevor du auf Basis deiner A/B-Tests Entscheidungen triffst.

Von Sebastian Klenk · Zuletzt aktualisiert: 18. Juni 2026

Stell dir vor, du misst dieselbe Sache zweimal mit derselben Waage und bekommst zwei deutlich verschiedene Gewichte. Dann traust du der Waage nicht mehr, egal was sie als Nächstes anzeigt. Genau das macht ein A/A-Test mit deinem Test-Werkzeug: Er prüft, ob die Messung selbst neutral ist, bevor du ihr echte Geschäftsentscheidungen anvertraust.

Was ein A/A-Test prüft und was er nicht kann

Beim A/A-Test bekommen zwei Besuchergruppen exakt dieselbe Seite. Kein anderer Button, keine andere Überschrift, keine andere Farbe. Erwartbar ist, dass beide Gruppen am Ende ungefähr gleich oft konvertieren. Kleine Unterschiede sind normal, das ist Zufall. Was nicht passieren darf: ein stabiler, großer Abstand, den dein Tool als echten Sieger feiert. Findet der A/A-Test einen „Gewinner“, obwohl beide Seiten identisch sind, ist das ein Alarmsignal, kein Ergebnis.

• Faire Verteilung: Landen wirklich grob gleich viele Besucher in beiden Gruppen, oder bekommt eine Gruppe systematisch mehr oder anderen Traffic?
• Korrekte Messung: Werden Conversions in beiden Gruppen gleich erfasst, oder zählt ein Tracking-Fehler auf einer Seite doppelt oder gar nicht?
• Stabile Zuordnung: Bleibt ein wiederkehrender Besucher in seiner Gruppe, oder springt er hin und her und verfälscht die Zahlen?
• Gefühl für Rauschen: Wie groß sind zufällige Schwankungen bei deiner Besucherzahl überhaupt, bevor du sie für „Wirkung“ hältst?

Was ein A/A-Test ausdrücklich nicht kann: dir sagen, welche Überschrift besser verkauft. Dafür ist der A/B-Test da. Der A/A-Test ist der TÜV für die Messstation, nicht das Rennen selbst. Er beantwortet nur eine Frage: Kann ich den Zahlen trauen, die mein Werkzeug ausspuckt?

Ein konkretes Beispiel: die Steuerberater-Landingpage

Eine Steuerberatungskanzlei will ihre Anfrage-Seite optimieren. Bevor sie Überschriften gegeneinander testet, lässt sie einen A/A-Test laufen: Beide Gruppen sehen die unveränderte Seite. Nach zwei Wochen meldet das Tool, Gruppe A konvertiere mit 4,1 %, Gruppe B mit 2,6 %, „Gewinner mit hoher Sicherheit“. Das ist unmöglich, beide Seiten sind ja identisch. Die Ursache: Das Conversion-Tracking war nur auf einer der beiden Formular-Bestätigungsseiten korrekt eingebaut. Hätte die Kanzlei diesen Fehler nicht gefunden, hätte jeder spätere A/B-Test eine eingebaute Schieflage gehabt, und sie hätte monatelang die falsche Variante für die bessere gehalten.

Wann ein A/A-Test sinnvoll ist und wann er nur Traffic kostet

Ehrlich bleiben: Ein A/A-Test verbraucht Besucher, ohne dass am Ende eine bessere Seite herauskommt. Diese Besucher fehlen dir für echte A/B-Tests. Er ist kein Ritual, das man immer durchzieht, sondern ein gezieltes Werkzeug für bestimmte Momente.

• Sinnvoll: Du richtest ein neues Test-Tool ein und willst Vertrauen aufbauen, bevor du wichtige Entscheidungen darauf stützt.
• Sinnvoll: Du hattest schon einmal ein verdächtig eindeutiges Ergebnis und vermutest einen Tracking- oder Verteilungsfehler.
• Sinnvoll: Nach einem größeren Umbau der Seite oder einem Wechsel des Analyse-Tools, wenn du nicht sicher bist, ob alles noch sauber zählt.
• Eher Verschwendung: Bei sehr wenig Traffic, wo schon der eigentliche A/B-Test Wochen bis Monate bis zu einem Ergebnis braucht. Dann frisst der A/A-Test Zeit, die du nicht hast.
• Eher Verschwendung: Als Dauerschleife. Einmal sauber geprüft reicht, solange du am Setup nichts Grundlegendes änderst.

Gerade der Traffic-Punkt ist entscheidend. Wenn deine Seite weniger als rund 200 Besucher am Tag hat, ist klassisches A/B-Testing ohnehin schwierig, weil die Stichprobe zu klein für verlässliche Aussagen ist. Was das praktisch heißt, steht in lohnt sich A/B-Testing bei wenig Traffic. In solchen Fällen ist ein zusätzlicher A/A-Test selten die richtige Investition. Da hilft eher ein Ansatz, der mit weniger Daten auskommt, wie wir ihn unter A/B-Test vs. Multi-Armed Bandit gegenüberstellen.

Der Zusammenhang mit Stichprobengröße und Signifikanz

Ein A/A-Test ist auch eine ehrliche Lektion über Zufall. Selbst bei identischen Seiten konvertieren die beiden Gruppen nie auf die Nachkommastelle gleich. Bei kleinen Besucherzahlen können die Unterschiede sogar erschreckend groß wirken: 30 Anfragen hier, 38 dort, und schon sieht es nach einem klaren Sieger aus, obwohl es reines Rauschen ist. Genau dieses Rauschen ist der Grund, warum Stichprobengröße und statistische Signifikanz so wichtig sind. Wenn dein A/A-Test bei deiner Besucherzahl ständig wackelt, zeigt er dir, dass du für einen echten A/B-Test mehr Daten oder mehr Geduld brauchst, bevor du einem Ergebnis glaubst.

Ein praktischer Zwischenschritt, bevor du überhaupt testest: Schätz mit dem A/B-Test-Rechner ab, wie viele Besucher du für eine belastbare Aussage brauchst. Kommt dabei eine Zahl heraus, die deine Seite in absehbarer Zeit nicht erreicht, sparst du dir den A/A-Test gleich mit. Dann ist nicht das Setup das Problem, sondern schlicht die Datenmenge.

Saubere Messung statt Tricks: warum das ehrlich ist

Der A/A-Test passt zu einer Haltung, die wir bei Figgle ernst nehmen: Optimierung beginnt mit ehrlichen Zahlen, nicht mit Überredung. Es geht nicht darum, Besucher zu überrumpeln, sondern darum, deine eigenen Annahmen zu prüfen, bevor du sie zur Wahrheit erklärst. Wer auf Basis kaputter Messung optimiert, baut sein Geschäft auf Sand, auch wenn die Dashboards grün leuchten. Ein A/A-Test kostet ein paar Besucher, aber er kauft dir die Gewissheit, dass die Zahlen, mit denen du planst, überhaupt etwas bedeuten.

Häufige Fragen

Weiterlesen

• Conversion-Optimierung für KMU: die wichtigsten Hebel in der richtigen Reihenfolge
• Usability-Test für KMU: zuschauen, wo Besucher hängen bleiben
• Conversion-Rate berechnen: Formel, Benchmarks und wie du sie verbesserst