Las pruebas A/B suenan como el fin de las suposiciones: mostrar la versión A a la mitad de los visitantes y la versión B a la otra mitad, y dejar que los números decidan. En una tienda con mucho movimiento funciona. En un sitio con unos pocos miles de visitantes al mes, los números a menudo no pueden decidir nada, y una prueba detenida en el primer resultado emocionante produce una respuesta segura que en realidad es solo ruido. Antes de empezar, conviene saber qué determina el tamaño de muestra de una prueba A/B, cuánto tiempo necesita realmente y qué hacer cuando su tráfico no alcanza para una.
Qué determina el tamaño de muestra de una prueba A/B
Cuatro datos deciden cuántos visitantes necesita una prueba:
- Tasa de conversión base. Cuanto más rara sea la acción, más visitantes se necesitan para ver un cambio en ella. Una prueba medida con "agregar al carrito" necesita menos visitantes que una medida con compras completadas.
- Efecto mínimo detectable. La mejora más pequeña que le interesa detectar. Este dato es el que más importa: reducir a la mitad el efecto mínimo detectable multiplica aproximadamente por cuatro la muestra necesaria.
- Nivel de significancia. Cuánto está dispuesto a dejarse engañar por el azar. Una convención común es una tasa de falsos positivos del 5 por ciento.
- Potencia estadística. Qué tan probable es que la prueba detecte un efecto real del tamaño elegido; el 80 por ciento es la convención habitual.
Ingrese sus propias cifras en una calculadora de tamaño de muestra antes de construir nada. Si la respuesta es más visitantes de los que la página recibe en dos meses, la prueba no vale la pena en esa forma. Lo que cuenta al final son las conversiones por variante, no los visitantes: una prueba con miles de visitantes pero solo un puñado de compras en cada versión tiene muy poco que decir.
Cuánto tiempo ejecutar una prueba A/B
Ejecútela hasta alcanzar la muestra planificada y siempre por semanas completas. Los visitantes se comportan de forma distinta un lunes por la mañana que un sábado por la noche, así que una prueba que corre de martes a viernes mide solo una parte de su público. Uno o dos ciclos de negocio completos son un mínimo razonable incluso en sitios con mucho tráfico. Las pruebas muy largas tienen sus propios problemas: las personas borran las cookies y se cuentan dos veces, y los cambios de temporada o las campañas nuevas alteran la mezcla de visitantes.
Planifique la fecha de término con anticipación y respétela. Detener una prueba antes de tiempo porque el panel muestra un ganador es la forma más común de obtener un resultado falso: si revisa todos los días y se detiene la primera vez que el resultado parece significativo, la probabilidad real de un falso positivo es mucho mayor que el nivel que fijó. Algunas herramientas de pruebas usan métodos secuenciales diseñados para revisiones repetidas; si la suya no lo hace, decida primero la muestra y lea el veredicto una sola vez.
Qué significa y qué no significa la significancia estadística
La significancia estadística indica que, si las dos versiones rindieran realmente igual, una diferencia tan grande como la observada rara vez aparecería por azar. No dice qué tan probable es que la versión B sea mejor, ni si la diferencia es lo bastante grande como para importar al negocio. Léala junto con el tamaño del efecto y su intervalo de confianza.
Revise la discrepancia en la proporción de muestra
Si el tráfico debe dividirse por igual y una versión recibió claramente más visitantes que la otra, algo está fallando: una redirección que falla en algunos navegadores, un bot que ataca una URL, un seguimiento que se dispara solo en una variante. Esta discrepancia en la proporción de muestra (sample ratio mismatch) invalida el resultado, por bueno que parezca. Muchas herramientas de pruebas la señalan; si no, compare los conteos de visitantes con una prueba de chi cuadrado sencilla.
Pruebas A/B y SEO
La guía de Google sobre cómo minimizar el impacto de las pruebas de sitios web en la búsqueda se resume en unas pocas reglas. No muestre a Googlebot una versión distinta de la que reciben los visitantes, lo cual se considera cloaking. Si una variante vive en una URL aparte, apunte su etiqueta canonical a la página original. Use una redirección temporal 302, no una 301 permanente, cuando una prueba redirija a los visitantes. Y termine la prueba en cuanto tenga su respuesta y luego actualice la página original. Si se siguen estas reglas, las pruebas A/B y el SEO se llevan bien.
Herramientas después de Google Optimize
Google Optimize se cerró el 30 de septiembre de 2023, y muchos sitios pequeños no han hecho una prueba desde entonces. Las alternativas a Google Optimize se dividen en tres grupos: plataformas de pruebas dedicadas, como VWO u Optimizely, con editores visuales y estadísticas integradas; servicios de experimentación y de indicadores de funciones (feature flags) que usan los equipos de desarrollo y que activan las variantes en el código; y funciones de pruebas integradas en algunas plataformas de comercio electrónico y de páginas de destino. Elija lo que elija, verifique tres cosas: si el script hace parpadear o vuelve lenta la página, si respeta su configuración de consentimiento de cookies y si envía los resultados a GA4, donde se pueden contrastar con sus pedidos.
Qué pueden hacer en su lugar los sitios web con poco tráfico
Para los sitios web con poco tráfico, las pruebas formales suelen ser el camino más lento hacia una respuesta. Mejores opciones:
- Pruebe cambios más grandes. Una oferta nueva, un formulario más corto o una estructura de página distinta producen un efecto mayor que el color de un botón, y los efectos mayores necesitan muestras mucho más pequeñas.
- Observe sesiones reales. Los mapas de calor y las grabaciones muestran dónde dudan las personas, y un puñado de sesiones moderadas con clientes reales a menudo revela los problemas principales.
- Pregunte a su personal de ventas. Las preguntas por las que la gente llama o escribe suelen ser preguntas que la página no respondió.
- Compare períodos con cuidado. Haga un cambio a la vez y compare períodos iguales, anotando campañas, días festivos y cualquier otra cosa que haya cambiado.
Sea cual sea el método, comience cada cambio con una hipótesis de prueba por escrito: "Como vimos esto en los datos, creemos que cambiar esto para estos visitantes producirá este resultado, y lo mediremos con esta métrica". Evita rediseños al azar y hace que cada resultado, ganador o no, sea algo de lo que se aprende. Nuestro servicio de optimización de la tasa de conversión funciona igual en sitios pequeños: con muy poco tráfico para una prueba confiable, hacemos un cambio bien investigado a la vez y comparamos períodos.
Preguntas frecuentes: tamaño de muestra de una prueba A/B
¿Puedo ejecutar varias pruebas A/B al mismo tiempo?
En páginas distintas o en pasos distintos del embudo, por lo general sí. Dos pruebas en la misma página o con el mismo público pueden interferir entre sí, así que hágalas mutuamente excluyentes o combínelas en una sola prueba multivariante.
¿Se deben probar por separado el celular y la computadora?
Mire ambos segmentos, pero decida qué segmentos analizará antes de que empiece la prueba. Dividir los resultados después hasta que algún segmento "gane" es otra forma de encontrar ruido.
¿Y si la prueba no muestra diferencia?
Eso también es un resultado. Le dice que el cambio, si ayuda en algo, ayuda menos que su efecto mínimo detectable. Conserve la versión más fácil de mantener y pruebe algo más audaz.
¿No sabe si su tráfico permite hacer pruebas? Nuestro servicio de optimización de la tasa de conversión y pruebas A/B comienza con datos del embudo y mapas de calor, y recomienda pruebas formales solo donde las cifras las sostengan. Funciona mejor sobre un seguimiento preciso de GA4. Envíenos la dirección de su sitio y su tráfico mensual aproximado, y veremos por dónde empezar.
