← marketingames.org Glossário

Significância estatística

Experimentação

O que é Significância estatística

Significância estatística é a confiança de que a diferença entre duas versões não é obra do acaso. O padrão de mercado é 95%.

Na prática

É o freio contra decidir cedo. Teste que aponta 30% de ganho com 40 conversões costuma virar empate quando o volume dobra, e isso já custou muita mudança inútil de site.

Um caso real

Um teste de página mostrava 18% de vantagem para a variante depois de dois dias, com 60 visitas de cada lado. O time implantou. Um mês depois, a conversão estava igual à de antes. A diferença inicial era ruído, e a amostra era pequena demais pra distinguir efeito real de sorte.

O erro mais comum

Olhar o resultado todo dia e parar no momento em que o número fica bonito. Isso multiplica a chance de falso positivo, porque cada olhada é uma nova oportunidade de o acaso parecer resultado. Amostra e duração se definem antes de começar.

De onde vem

O arcabouço vem da estatística inferencial do início do século XX, com o trabalho de Ronald Fisher e depois de Neyman e Pearson. O patamar de 95% é convenção herdada dessa tradição, não uma verdade matemática sobre qual risco é aceitável.

Perguntas frequentes sobre Significância estatística

O que 95% quer dizer exatamente?
Que, se não houvesse diferença real, resultados tão extremos quanto o observado apareceriam em no máximo 5% das vezes. Não quer dizer que há 95% de chance de a variante ser melhor, que é a leitura errada mais comum.
Posso usar 90% em vez de 95%?
Pode, assumindo mais risco de errar. Em decisão barata e reversível, 90% é defensável e acelera o aprendizado. Em mudança cara, o padrão mais rígido se justifica.
E se meu site tem pouco tráfego?
Teste mudanças grandes, aceite prazos longos ou decida por outros meios, como entrevista e observação. Insistir em testar detalhes sem volume produz conclusão inventada com aparência de método.