Blog
Marketing

Calculadora de significância estatística do teste A/B

Informe o número de visitantes e conversões no grupo de controle (A) e na variante de teste (B). A calculadora obtém a diferença na conversão e o nível de significância estatística.

A

B

Resultado

Nível de confiança

Conversão A
Conversão B
Aumento relativo

Os dados informados ficam salvos no navegador — da próxima vez tudo continuará ali. Nada é enviado a um servidor.

Este cálculo tem caráter informativo e não substitui a orientação de um profissional qualificado. As fórmulas e taxas podem não refletir a sua situação — confira os valores exatos antes de tomar decisões.

Como é calculado

A calculadora usa o teste z para duas proporções — o método estatístico padrão para comparar proporções (conversões) em dois grupos independentes. Hipótese nula: a conversão real de A e B é igual, e toda a diferença observada é acaso da amostragem.

O nível de confiança mostra com que segurança dá para rejeitar essa hipótese: um valor de 95% significa que, se não houvesse uma diferença real, um resultado assim (ou mais acentuado) seria observado por acaso só em 5% dos casos. Quanto mais visitantes nos grupos e mais forte a diferença na conversão, maior o nível de confiança.

95% é um limiar de significância comum, não uma lei universal: em algumas áreas usa-se um limiar mais rígido (99%), em outras um mais flexível. A significância estatística sozinha não significa que o ganho encontrado vale a pena implementar — um ganho pequeno, mas medido com confiabilidade, pode ser menor que o custo de implementar a mudança.

Uma regra metodológica importante: não se deve parar o teste e olhar a significância todo dia, reagindo ao primeiro momento em que o limiar é cruzado — isso infla muito a probabilidade de um falso positivo. O tamanho da amostra e a duração do teste devem ser planejados com antecedência, antes de começar a coletar dados, sem desviar do plano antes da hora.

Outras calculadoras

Todas as calculadoras