O que é Teste A/B
Teste A/B é a comparação controlada entre duas versões de uma página, e-mail ou anúncio, mostrando cada uma para uma parte do público e medindo qual converte mais.
Na prática
Só vale com volume suficiente e uma variável por vez. Com pouco tráfego, o resultado é ruído: você troca de página por sorte e chama isso de aprendizado.
Um caso real
Na campanha de Barack Obama em 2008, a equipe testou combinações de imagem e botão na página de cadastro. A versão vencedora não era a preferida do time: trocava o vídeo por uma foto de família e mudava o texto do botão. A diferença na taxa de cadastro foi grande o bastante pra virar caso de estudo sobre confiar no teste em vez do gosto de quem decide.
O erro mais comum
Parar o teste quando o resultado fica bonito. Olhar o painel todo dia e encerrar no primeiro pico é a forma mais comum de aprovar mudança que não funciona. O tamanho da amostra e a duração precisam ser definidos antes de começar, justamente pra tirar a sua vontade da decisão.
De onde vem
O método vem da estatística agrícola: Ronald Fisher formalizou o experimento controlado com grupos sorteados nos anos 1920, testando adubo em canteiros. A web herdou a ideia e trocou o canteiro pela página, com a vantagem de conseguir milhares de repetições por dia.