Su test A/B puede estar engañándolo

Cerrar un test A/B en el momento en que el resultado “parece bueno” tiene nombre: peeking. La práctica parece inofensiva, pero rompe las garantías estadísticas del experimento. En una simulación con 10.000 tests, llevó la tasa de falsos positivos de 5% a casi 20%.

Los tests A/B se usan ampliamente para comparar poblaciones independientes, y la lógica parece simple: medir si hay una diferencia estadísticamente significativa en una métrica entre dos grupos, A y B. En el marketing digital, el uso más común es decidir qué creativo presenta mejor desempeño en determinada métrica (como la tasa de clics) y, con base en eso, dirigir la inversión solo hacia la versión más prometedora. Solo que dos detalles de la estadística detrás del test suelen pasar desapercibidos. Este artículo muestra los dos, con números.

• Cómo funciona el test A/B frecuentista
• Lo que el test realmente responde
• Peeking: el error de espiar el resultado
• La simulación: el salto de los falsos positivos
• Cómo testear sin caer en la trampa

Cómo funciona el test A/B frecuentista

Vamos a un ejemplo con dos anuncios:

• Versión A: la base
• Versión B: idéntica a la A, pero con el botón rojo

En el test A/B frecuentista, el proceso generalmente sigue tres etapas:

1. La audiencia se divide aleatoriamente entre los dos grupos.
2. Se miden impresiones y clics para cada versión.
3. Con base en los datos, se evalúa si es posible rechazar la hipótesis de que A y B tienen la misma tasa de clics, adoptando, por ejemplo, un nivel de confianza de 95%.

El paso a paso de montaje, medición y lectura de un experimento está en nuestro artículo sobre el test A/B en la práctica. Aquí el foco es otro: qué significa realmente el resultado y cómo puede engañar.

Lo que el test realmente responde

Aquí cabe un punto importante: el test no responde directamente a la pregunta “qué anuncio es mejor”. Lo que responde es más sutil y menos interesante.

El test parte de la hipótesis de que no hay diferencia real entre los dos anuncios. Es la llamada hipótesis nula:

H₀: p_A = p_B

En ella, p_A y p_B son las tasas de clics reales de las versiones A y B. Asumiendo esa hipótesis, el test calcula qué tan improbable sería observar la diferencia que estamos viendo en los datos solo por una variación aleatoria. Si el resultado observado es lo bastante improbable bajo H₀ (probabilidad menor que 5%, por ejemplo), decimos que es estadísticamente significativo.

Observe lo que eso implica: el nivel de confianza de 95% ya acepta, por construcción, 5% de falsos positivos. En 1 de cada 20 tests de anuncios idénticos, esperamos declarar un ganador que no existe. Ese es el precio pactado. El problema es cuando el proceso de decisión infla ese precio sin que nadie lo perciba.

Peeking: el error de espiar el resultado

Ahora viene el segundo problema, y tal vez el más grave. Es común ver equipos siguiendo los resultados a lo largo del experimento y decidiendo cerrar el test cuando el resultado “parece bueno”. Esa práctica, aunque intuitiva, rompe las garantías estadísticas del test y eleva drásticamente el riesgo de falsos positivos.

El motivo: la garantía del 5% vale para un único análisis, hecho sobre una muestra definida antes del inicio. Cuando el equipo espía varias veces y detiene el test en la primera mirada favorable, cada mirada se convierte en una nueva oportunidad de que el azar cruce la línea de la significancia. La diferencia entre los grupos oscila a lo largo del experimento por pura variación muestral, y detenerse en el pico de la oscilación es seleccionar el ruido, no la señal.

La simulación: el salto de los falsos positivos

Simulamos ese escenario para visualizar el impacto real:

• Se ejecutaron 10.000 tests con anuncios A y B idénticos, ambos con una tasa real de clics de 10%.
• Cada test fue “espiado” 10 veces antes de finalizarse.
• Resultado: la tasa de falsos positivos saltó de 5% (el valor esperado) a casi 20%.

Es decir, incluso sin ninguna diferencia real entre los grupos, el test indicó superioridad de una de las versiones en casi 20% de las veces. En la práctica, eso aumenta considerablemente el riesgo de decisiones equivocadas basadas solo en variaciones aleatorias de los datos: presupuesto reasignado, creativo pausado y “aprendizaje” registrado sobre un efecto que nunca existió.

El código de la simulación está en un notebook público en Colab, para quien quiera reproducir los números o variar los parámetros.

Cómo testear sin caer en la trampa

Dentro del marco frecuentista, la protección es disciplina: calcular el tamaño de la muestra antes de empezar, correr el test hasta alcanzar ese tamaño y solo entonces mirar la significancia. Espiar en el medio, sin corrección estadística, invalida la cuenta.

En Marktech utilizamos métodos más flexibles para tests A/B, que permiten un análisis continuo de los resultados sin comprometer la validez matemática del experimento. También ofrecen respuestas más directas a la pregunta práctica que interesa: ¿qué anuncio tiene mayor probabilidad de ser superior?

El mismo rigor que protege un test de creativos vale para decisiones más grandes de medios, como estimar el efecto de cada canal en el resultado: es el tema de nuestro artículo sobre Marketing Mix Modeling con Meridian.

Antes de cerrar el próximo test, vale la pena preguntarse: ¿la muestra fue definida antes del inicio? ¿Cuántas veces ya se espió el resultado? Y, mirando hacia atrás, ¿usted ya cayó en esta trampa?