A/B-Tests im Shop: wie sie wirklich funktionieren

Statistische Grundvoraussetzungen

Ein A/B-Test braucht ausreichend Traffic. Bei einer Baseline-CVR von 2 Prozent und gewünschtem Effekt von 10 Prozent relativ braucht eine Variante etwa 17.000 Sitzungen, um statistische Signifikanz zu erreichen. Wer das nicht hat, sollte qualitativ testen, nicht quantitativ.

Test-Hypothese richtig formulieren

Eine Hypothese hat drei Teile: Beobachtung, Erklärung, erwartete Wirkung. Beispiel: Wir beobachten hohe Absprungrate auf Produktseiten. Wir vermuten, dass Versandinformationen zu spät erscheinen. Wir erwarten eine Steigerung der Add-to-Cart-Rate um 8 bis 15 Prozent durch frühere Platzierung.

Was zuerst testen

Diese fünf Tests funktionieren in über der Hälfte unserer Mandate:

• Versandkosten-Schwelle prominent im Header
• Bewertungs-Sterne auf Kollektionsebene neben den Produkten
• Sticky Add-to-Cart auf Mobile auf Produktseiten
• Trust-Badges direkt unter dem Bestellbutton, nicht im Footer
• Reduktion der Bilder auf Produktseiten von oft 8 bis 12 auf 4 bis 5

Wie lange laufen lassen

Mindestens zwei volle Wochen, plus mindestens ein Wochenende mit hohem Traffic. Tests die nach drei Tagen "klar gewonnen" aussehen, sind oft Zufall. Geduld zahlt sich aus.

Tools

Wir nutzen Shopify-native A/B-Test-Funktionen für Produkt- und Kollektions-Tests, plus VWO für komplexere Szenarien. Convert oder Optimizely sind Overkill für die meisten Shops unter 500.000 € Monatsumsatz.

Häufigster Fehler

Der häufigste Fehler ist nicht der falsche Test, sondern fehlende Dokumentation. Tests müssen so dokumentiert sein, dass auch in zwei Jahren nachvollziehbar ist warum welche Entscheidung gefällt wurde. Sonst wiederholt man dieselben Tests.