Validar hipóteses como deve ser — estatística, dimensões de amostra, lições aprendidas. Ferramentas: GrowthBook, Statsig, Optimizely.
Categoria · Dados & Analytics
Hipóteses em vez de intuição.
Um teste A/B divide os utilizadores aleatoriamente por variantes e mede qual delas move melhor uma métrica definida à partida. A Experimentation é o enquadramento à volta disso: hipótese limpa, amostra suficiente, nível de significância claro. Ferramentas como GrowthBook, Statsig e Optimizely fornecem a infraestrutura.
O sentido não é ter razão, mas conseguir refutar pressupostos antes de irem para produção como funcionalidade.
Como montamos os testes.
Calculamos o tamanho de amostra necessário antes do arranque e fixamos o fim antes de ver dados. Gostamos de usar o GrowthBook quando a análise deve ligar-se ao warehouse próprio — os dados ficam então no nosso próprio stack.
Quando um teste não serve.
Com tráfego insuficiente, um teste válido demora meses — então decide-se melhor por juízo e feedback qualitativo. E quem para o teste assim que os números parecem bons por momentos, mede acaso, não efeito. Um teste interrompido é pior do que nenhum, porque cria falsa segurança.