A/B-Test im Onlineshop: Wann er sich lohnt und wie du ihn richtig aufsetzt
Was ein A/B-Test ist, wie viele Besuche er braucht und was du tust, wenn dein Traffic nicht reicht. Mit Rechner für deinen Shop.
Veröffentlicht ca. 7 Min.
Von Jason Spizert, Wirtschaftspsychologe (B.Sc.)
Die kurze Antwort
Ein A/B-Test zeigt zwei Gruppen von Besuchern zwei Varianten derselben Seite und misst, welche mehr verkauft. Er lohnt sich nur, wenn dein Shop genug Besuche und Käufe hat: Bei 1 % Conversion Rate braucht ein Test rund 79.000 Besuche, um 20 % Unterschied sicher zu erkennen. Reicht der Traffic nicht, ist ein Vorher-Nachher über feste Zeiträume die bessere Wahl.
A/B-Tests gelten als der Standard der Conversion-Optimierung. Das stimmt, aber nur mit einer Bedingung, die selten jemand ausspricht: Ein Test braucht Volumen. Ohne genug Käufe misst er Zufall, und du triffst Entscheidungen auf einer Zahl, die beim nächsten Test anders aussehen würde.
Was ist ein A/B-Test?
Bei einem A/B-Test, auch Split-Test genannt, teilt ein Tool deine Besucher zufällig in zwei Gruppen. Die eine sieht die bisherige Seite (A), die andere eine geänderte (B). Beide laufen gleichzeitig, unter denselben Bedingungen: gleiche Werbung, gleiche Woche, gleiches Wetter. Deshalb lässt sich ein Unterschied im Ergebnis auf die Änderung zurückführen.
Das unterscheidet ihn vom Vorher-Nachher-Vergleich. Wer eine Seite ändert und den Monat danach mit dem Monat davor vergleicht, misst auch alles andere mit, was sich verändert hat: Saison, Kampagnen, Preise.
Bauchgefühl gegen Daten
In fast jedem Shop gibt es diese Diskussion: „Die neue Seite ist doch viel schöner.“ „Ich habe gesehen, dass das bei anderen besser funktioniert.“ Am Ende entscheidet, wer am lautesten ist oder das meiste Geld verantwortet. Das Problem: Jeder Mensch ist sich seiner Meinung sicher, und die Kunden fragt dabei niemand.
Ein sauberer A/B-Test beendet diese Diskussion. Er ersetzt „Ich finde“ durch „Die Kunden haben gezeigt“. Aber nur, wenn er richtig gerechnet ist. Sonst ersetzt er eine Meinung durch Zufall, und der ist gefährlicher, weil er wie ein Beweis aussieht.
Was statistische Signifikanz bedeutet
Signifikanz beantwortet eine einzige Frage: Wie wahrscheinlich ist es, dass ein Unterschied nur Zufall ist? Am einfachsten sieht man das an einer Münze.
Ein Ergebnis gilt üblicherweise als signifikant, wenn so ein Abstand bei zwei gleich guten Varianten in weniger als 5 von 100 Fällen vorkäme. Das sind die 95 %, von denen Testing-Tools sprechen. Wichtig ist der Umkehrschluss: Signifikant heißt nicht wichtig. Ein winziger Unterschied kann signifikant sein und sich trotzdem nicht lohnen.
Wann sich ein A/B-Test lohnt
Wie viele Besuche ein Test braucht, hängt an zwei Zahlen: deiner Conversion Rate und dem Unterschied, den du erkennen willst. Je kleiner beides, desto mehr Besuche. Rechne es für deinen Shop aus:
Viele Shops haben eine Conversion Rate im niedrigen einstelligen Prozentbereich. Kleine Änderungen wie eine neue Buttonfarbe verschieben das Ergebnis selten um mehr als ein paar Prozent. Solche Unterschiede sind mit normalem Traffic praktisch nicht messbar. Große Änderungen, etwa eine neu aufgebaute Produktseite, haben eher eine Chance, sichtbar zu werden.
Ab welcher Shopgröße sich Testing lohnt
Der Rechner führt zu einer unbequemen Wahrheit: Bei kleinen Shops lohnt sich Conversion-Optimierung über A/B-Tests nicht. Zwei Shops im Vergleich, beide mit 50 € Bestellwert und 1,5 % Conversion Rate:
Der kleine Shop wartet vier Monate auf ein Ergebnis, das 2.000 € im Monat wert ist, und in diesen vier Monaten ändern sich Saison, Werbung und Sortiment. Für ihn bringen ein klares Angebot, mehr passende Besucher und das Beheben offensichtlicher Brüche mehr. Der große Shop weiß nach knapp einem Monat, ob eine Änderung 20.000 € im Monat bringt. Für ihn ist Testing der schnellste Hebel, den es gibt.
So setzt du einen A/B-Test richtig auf
Die Hypothese ist der wichtigste Teil. „Wir testen mal einen grünen Button“ ist keine. „Wenn die Versandkosten schon auf der Produktseite stehen, brechen weniger Käufer im Checkout ab, weil die Überraschung am Ende wegfällt“ ist eine. Sie sagt, was du änderst, was passieren soll und warum. Dann lernst du auch aus einem Test ohne Gewinner etwas.
Die häufigsten Fehler
Zu früh abbrechen. Am Anfang schwankt das Ergebnis stark. Wer abbricht, sobald B vorne liegt, erwischt oft einen Zufallsausschlag. Die Laufzeit steht vorher fest.
Die falsche Zielgröße. Mehr Klicks auf den Warenkorb-Knopf sind kein Erfolg, wenn am Ende nicht mehr gekauft wird. Miss Käufe oder Umsatz je Besuch.
Der Messung blind vertrauen. Wenn Shopify, GA4 und das Testing-Tool unterschiedlich zählen, weißt du nicht, welchem Ergebnis du glauben kannst. Warum das passiert, steht in Shopify, Meta und GA4 zählen anders.
Zu viele Varianten auf einmal. Jede weitere Variante teilt deinen Traffic noch einmal. Aus vier Wochen Laufzeit werden schnell acht.
Was tun, wenn der Traffic nicht reicht?
Dann ist ein A/B-Test das falsche Werkzeug, und das ist kein Makel. Finde zuerst heraus, wo Käufer aussteigen: Die Kette von Besuch über Produktseite und Warenkorb bis zum Kauf zeigt die Bruchstelle, Heatmaps und Sitzungsaufnahmen zeigen den Grund. Ändere dann gezielt und vergleiche feste Zeiträume, zum Beispiel vier Wochen vorher gegen vier Wochen nachher, ohne gleichzeitige Aktionen.
Wie wir dabei vorgehen, beschreibt unsere Seite zur Conversion-Optimierung.
A/B-Testing-Tools
Für Shopify gibt es Apps, die Seiten, Themes oder Preise testen, und externe Tools, die auf jeder Seite laufen. Bekannte Beispiele sind VWO, AB Tasty, Kameleoon oder Varify.io, für Shopify auch Shoplift und Intelligems. Google Optimize gibt es seit September 2023 nicht mehr. Welches Tool passt, hängt vor allem davon ab, was du testen willst und wie sauber es sich mit deiner Messung verträgt.
Wir halten jeden Test in unserem eigenen CRO-Cockpit fest: Hypothese, Laufzeit, Ergebnis und was wir daraus lernen. So geht auch ein Test ohne Gewinner nicht verloren.
Häufige Fragen
Bei einem A/B-Test sehen zufällig ausgewählte Besucher zwei Varianten derselben Seite: A ist die bisherige, B die geänderte. Gemessen wird, welche Variante mehr Käufe oder Umsatz bringt. Weil beide Gruppen zur selben Zeit unter denselben Bedingungen laufen, lässt sich der Unterschied auf die Änderung zurückführen.
So lange, bis die vorher berechnete Zahl an Besuchen erreicht ist, und mindestens zwei volle Wochen, damit jeder Wochentag doppelt enthalten ist. Wer abbricht, sobald eine Variante vorne liegt, bekommt oft ein Ergebnis, das sich später nicht bestätigt.
Das hängt von deiner Conversion Rate und vom Unterschied ab, den du erkennen willst. Bei 1 % Conversion Rate braucht ein Test rund 79.000 Besuche, um einen Unterschied von 20 % verlässlich zu erkennen. Der Rechner im Artikel zeigt dir den Wert für deinen Shop.
Das hängt an Besuchen und Bestellungen, nicht am Umsatz allein. Als grobe Orientierung: Ein Shop mit 10.000 € Monatsumsatz braucht bei 50 € Bestellwert rund vier Monate, um eine Verbesserung von 20 % sicher zu erkennen. Ein Shop mit 200.000 € erkennt 10 % in knapp einem Monat. Darunter bringen Angebot, Traffic und offensichtliche Brüche mehr als Tests.
Sie beschreibt, wie unwahrscheinlich es ist, dass der gemessene Unterschied nur Zufall ist. Üblich sind 95 %. Signifikanz sagt aber nichts darüber, ob der Unterschied groß genug ist, um sich wirtschaftlich zu lohnen.
A/B-Test und Split-Test meinen meist dasselbe: zwei Varianten gegeneinander. Beim multivariaten Test werden mehrere Elemente gleichzeitig in Kombinationen getestet. Er braucht deutlich mehr Traffic und lohnt sich für die meisten Shops nicht.
Ja, über Apps oder externe Testing-Tools. Welches passt, hängt davon ab, was du testen willst: Seiteninhalte, Themes oder Preise. Wichtiger als das Tool ist, dass Messung, Laufzeit und Zielgröße vorher feststehen.
