Calculadora de test A/B
Dimensiona el test antes de empezar y evalúa la significancia cuando termine. Los resultados se actualizan mientras completas los campos.
Resultados
Más de 90 días es demasiado para un test: la respuesta llega tarde y crece el riesgo de contaminación. Sube el MDE o destina más tráfico al test.
Revisa los datos: visitantes y conversiones deben ser mayores que cero, y las conversiones no pueden superar a los visitantes.
Resultados
Cómo usar la calculadora
- Elige el modo: planificar el test, para saber cuánta muestra necesitas, o evaluar el resultado, para comprobar la significancia.
- Completa los campos: al planificar, la tasa de conversión actual y el efecto que quieres detectar; al evaluar, visitantes y conversiones de cada variante.
- Lee los resultados, que se actualizan mientras escribes: muestra y duración en un modo; uplift, valor p e intervalos de confianza en el otro.
- Decide con criterio: corre el test hasta la muestra planificada y declara ganadora solo si hay significancia en el nivel elegido.
¿Para qué sirven la muestra y la significancia?
Un test A/B con muestra insuficiente engaña: con pocos visitantes, cualquier oscilación natural parece una victoria, y la campeona de hoy vuelve a empatar la semana siguiente. Calcular la muestra antes de empezar define cuándo termina el test y evita decidir sobre ruido.
La significancia hace la otra mitad del trabajo: estima la probabilidad de que la diferencia observada sea puro azar. Con el valor p por debajo del umbral del nivel de confianza elegido, puedes cambiar la página con seguridad; por encima, la respuesta honesta es seguir recogiendo datos.
Glosario rápido de test A/B
Cinco términos que usa la calculadora:
- MDE (efecto mínimo detectable)
El uplift más pequeño que el test puede detectar. Cuanto menor el MDE, mayor la muestra necesaria: detectar +5% exige mucho más tráfico que detectar +20%. - Nivel de confianza
Protección contra falsos positivos. Con 95%, si no hay diferencia real entre las variantes, el test solo señala una ganadora por error el 5% de las veces. - Poder estadístico
Protección contra falsos negativos. Con 80% de poder, un efecto real del tamaño del MDE se detecta en 8 de cada 10 tests. - Valor p
La probabilidad de observar una diferencia como la del test (o mayor) si las variantes fueran iguales. Por debajo de 0,05, el resultado suele considerarse significativo al 95%. - Intervalo de confianza
El rango donde probablemente está la tasa de conversión verdadera de cada variante. Intervalos muy superpuestos piden una lectura prudente.
Preguntas frecuentes
¿Por qué 95% de confianza es el estándar?
Es la convención que equilibra rigor y practicidad: acepta un 5% de probabilidad de falso positivo. Los tests con alto costo de error (precio, checkout) merecen 99%; los de bajo riesgo pueden correr al 90% y terminar antes.
¿Puedo parar el test en cuanto dé significativo?
No: para en el tamaño de muestra planificado. Mirar todos los días y parar en la primera significancia (el llamado peeking) infla la tasa de falsos positivos, porque el azar cruza el umbral elegido varias veces durante el test. Define la muestra antes y decide solo cuando la alcances.
¿Cuántas variantes soporta la calculadora?
Dos: A (control) y B (variación). Con tres o más, las comparaciones por pares multiplican la probabilidad de falso positivo; habría que corregir el nivel de significancia (Bonferroni, por ejemplo) o usar la herramienta de tests de tu plataforma.
¿Por qué el resultado difiere de otras calculadoras?
Cada herramienta adopta sus propias premisas: test unilateral o bilateral, corrección de continuidad, intervalo de Wald o de Wilson. Esta calculadora usa el test bilateral de dos proporciones con intervalos de Wald, el mismo estándar de las principales herramientas del mercado. Las diferencias pequeñas entre calculadoras vienen de esas elecciones.
¿Necesitas apoyo para correr tus tests?
Marktech es partner de Google y Meta y gestiona campañas y experimentos para empresas, redes y franquicias.
Hablar con un consultor