Hypothesen netjes toetsen — statistiek, steekproefgroottes, lessen. Tools: GrowthBook, Statsig, Optimizely.
Categorie · Data & Analytics
Hypothesen in plaats van onderbuikgevoel.
Een A/B-test verdeelt gebruikers willekeurig over varianten en meet welke een vooraf gedefinieerde kerncijfer beter beweegt. Experimentation is het kader eromheen: een nette hypothese, een toereikende steekproef, een helder significantieniveau. Tools als GrowthBook, Statsig en Optimizely leveren de infrastructuur.
De zin is niet om gelijk te krijgen, maar om aannames te kunnen weerleggen voordat ze als feature in productie gaan.
Hoe wij tests opzetten.
Wij berekenen de benodigde steekproefomvang vóór de start en leggen het einde vast voordat we data zien. GrowthBook zetten wij graag in wanneer de analyse op het eigen warehouse moet aansluiten — de data blijft dan in de eigen stack.
Wanneer een test niets waard is.
Bij te weinig verkeer duurt een valide test maanden — dan beslist u beter op oordeel en kwalitatieve feedback. En wie de test stopt zodra de cijfers even gunstig lijken, meet toeval, geen effect. Een afgebroken test is slechter dan helemaal geen, omdat hij schijnzekerheid creëert.