Hypothesen sauber prüfen — Statistik, Stichprobengrößen, Lessons. Tools: GrowthBook, Statsig, Optimizely.
Kategorie · Daten & Analytics
Hypothesen statt Bauchgefühl.
Ein A/B-Test teilt Nutzer zufällig in Varianten und misst, welche eine vorab definierte Kennzahl besser bewegt. Experimentation ist der Rahmen darum: saubere Hypothese, ausreichende Stichprobe, klares Signifikanzniveau. Tools wie GrowthBook, Statsig und Optimizely liefern die Infrastruktur.
Der Sinn ist nicht, recht zu behalten, sondern Annahmen widerlegen zu können, bevor sie als Feature in Produktion gehen.
Wie wir Tests aufsetzen.
Wir rechnen die nötige Stichprobengröße vor dem Start aus und legen das Ende fest, bevor wir Daten sehen. GrowthBook setzen wir gerne ein, wenn die Auswertung an das eigene Warehouse andocken soll — die Daten bleiben dann im eigenen Stack.
Wann ein Test nichts taugt.
Bei zu wenig Traffic dauert ein valider Test Monate — dann entscheidet man besser per Urteil und qualitativem Feedback. Und wer den Test stoppt, sobald die Zahlen kurz gut aussehen, misst Zufall, nicht Wirkung. Ein abgebrochener Test ist schlechter als gar keiner, weil er Scheinsicherheit erzeugt.