Calculadora de teste A/B
Dimensione o teste antes de começar e avalie a significância quando ele terminar. Os resultados atualizam conforme você preenche os campos.
Resultados
Mais de 90 dias é teste longo demais: o resultado chega tarde e o risco de contaminação cresce. Aumente o MDE ou concentre mais tráfego no teste.
Confira os dados: visitantes e conversões precisam ser maiores que zero, e as conversões não podem passar dos visitantes.
Resultados
Como usar a calculadora
- Escolha o modo: planejar o teste, para saber quanta amostra você precisa, ou avaliar o resultado, para checar a significância.
- Preencha os campos: no planejamento, a taxa de conversão atual e o efeito que quer detectar; na avaliação, visitantes e conversões de cada variante.
- Leia os resultados, que se atualizam enquanto você digita: amostra e duração num modo; uplift, p-valor e intervalos de confiança no outro.
- Decida com critério: rode o teste até a amostra planejada e só declare a vencedora se houver significância no nível escolhido.
Para que servem amostra e significância?
Um teste A/B com amostra pequena demais engana: com poucos visitantes, qualquer oscilação natural parece vitória, e a campeã de hoje volta a empatar na semana seguinte. Calcular a amostra antes de começar define quando o teste termina e evita decidir em cima de ruído.
A significância faz a outra metade do trabalho: ela estima a probabilidade de a diferença observada ser só acaso. Com o p-valor abaixo do limite do nível de confiança escolhido, dá para trocar a página com segurança; acima dele, a resposta honesta é seguir coletando dados.
Glossário rápido de teste A/B
Cinco termos usados pela calculadora:
- MDE (efeito mínimo detectável)
O menor uplift que o teste consegue detectar. Quanto menor o MDE, maior a amostra necessária: detectar +5% exige muito mais tráfego que detectar +20%. - Nível de confiança
Proteção contra falso positivo. Com 95%, se não houver diferença real entre as variantes, o teste só aponta uma vencedora por engano em 5% das vezes. - Poder estatístico
Proteção contra falso negativo. Com 80% de poder, um efeito real do tamanho do MDE é detectado em 8 de cada 10 testes. - p-valor
A probabilidade de observar uma diferença como a do teste (ou maior) se as variantes fossem iguais. Abaixo de 0,05, o resultado costuma ser considerado significativo a 95%. - Intervalo de confiança
A faixa em que a taxa de conversão verdadeira de cada variante provavelmente está. Intervalos muito sobrepostos pedem cautela na leitura.
Perguntas frequentes
Por que 95% de confiança é o padrão?
É a convenção que equilibra rigor e praticidade: aceita 5% de chance de falso positivo. Testes com alto custo de erro (preço, checkout) merecem 99%; testes de baixo risco podem rodar a 90% e terminar mais rápido.
Posso parar o teste assim que der significativo?
Não; pare no tamanho de amostra planejado. Checar todo dia e parar na primeira significância (o chamado peeking) infla a taxa de falso positivo, porque o acaso cruza a linha do nível escolhido várias vezes ao longo do teste. Defina a amostra antes e só decida quando ela for atingida.
Quantas variantes a calculadora suporta?
Duas: A (controle) e B (variação). Com três ou mais, as comparações par a par multiplicam a chance de falso positivo; seria preciso corrigir o nível de significância (Bonferroni, por exemplo) ou usar a ferramenta de testes da própria plataforma.
Por que o resultado difere de outras calculadoras?
Cada ferramenta adota premissas próprias: teste unilateral ou bilateral, correção de continuidade, intervalo de Wald ou de Wilson. Esta calculadora usa o teste bilateral de duas proporções com intervalos de Wald, o mesmo padrão das principais ferramentas de mercado. Diferenças pequenas entre calculadoras vêm dessas escolhas.
Precisa de apoio para rodar seus testes?
A Marktech é parceira do Google e da Meta e gerencia campanhas e experimentos para empresas, redes e franquias.
Falar com consultor