Gastas cuarenta dólares, consigues sesenta clics y uno de ellos se registra. ¿Es bueno un 1,7 %? La respuesta honesta es que todavía no tienes una tasa de conversión — tienes un registro y mucha aritmética. El tamaño de muestra es lo que se interpone entre un número y una decisión, y a escala de presupuesto pequeño es casi siempre lo que se ignora. (Aviso: publicado por BidSurvivor, que vende publicidad y por tanto tiene un interés evidente en que compres algo. La aritmética de abajo no es nuestra y le da igual.)
Por qué un registro no te dice casi nada
Las conversiones son sucesos raros. Cuando algo ocurre pocas veces, el recuento que observas oscila salvajemente alrededor de la tasa real aunque nada del mundo haya cambiado.
Coge una página que de verdad convierte al 3 %. Mándale 60 visitantes. El resultado individual más probable son 2 conversiones — pero 0 ocurre en torno al 16 % de las veces, y 5 o más ocurre con la frecuencia suficiente como para que lo veas si repites la prueba unas cuantas veces. Así que la misma página, sin tocar, te enseñará un 0 %, un 3,3 % y un 8,3 % en tres martes consecutivos.
Ahora imagina que cambiaste el titular entre esos martes. Concluirás que el titular funcionó. No funcionó. Mediste ruido y le pusiste una causa.
No es un punto estadístico sutil. Es la forma más común en que los anunciantes pequeños malgastan dinero: no en los anuncios, sino en las conclusiones erróneas y seguras que sacan de ellos, que luego determinan adónde van los siguientes cientos de dólares.
La regla que merece memorizarse
Para una comprobación de cordura aproximada, quieres al menos 15 conversiones antes de que una tasa merezca citarse, y bastantes más antes de que merezca compararse con otra.
Quince no es un número mágico — es aproximadamente donde el error estándar relativo de un recuento baja del 26 %, que es el punto en el que el número deja de moverse tanto como para contarte una historia distinta cada semana. Por debajo, tu tasa es un rumor.
Dale la vuelta y se convierte en una herramienta de planificación. Si crees que tu página convierte cerca del 3 %, entonces:
- 15 conversiones ÷ 0,03 = 500 clics antes de que la tasa signifique gran cosa
- A 0,60 el clic, eso son 300 dólares para aprender un número
Al 1 % son 1.500 clics. Al 10 % son 150. Cuanto más baja sea tu tasa de conversión, más cara sale la certeza — que es exactamente lo contrario de lo que la mayoría supone, porque una tasa baja da la sensación de que debería ser barata de establecer.
Este es el cálculo que hay detrás del veredicto de confianza de nuestra calculadora de presupuesto publicitario: te dice no solo qué compra un presupuesto, sino si compra clics suficientes para que el número resultante valga algo. La mayoría de calculadoras se para antes de esa segunda parte, que es la que decide si deberías fiarte de la primera.
Comparar dos cosas es mucho más difícil que medir una
Todo lo anterior sirve para medir una sola tasa. Comparar dos — un test A/B — es un problema distinto y mucho más caro, porque ahora el ruido de ambos números tiene que ser menor que la diferencia entre ellos.
La consecuencia práctica: detectar un cambio del 3 % al 3,6 % (una mejora relativa del 20 %, que sería un resultado muy bueno) necesita del orden de 13.000 visitantes por variante. La calculadora de tamaño de muestra de Evan Miller hará la aritmética exacta con los números que tengas de verdad, y merece diez minutos con tus propias cifras antes de planear un test, no después.
Para la mayoría de quien lee esto, ese número termina la conversación. Si gastas 200 dólares al mes, no puedes hacer un test A/B válido sobre la tasa de conversión. No es «tardará un tiempo» — no puedes. El presupuesto necesario para detectar la mejora que esperas supera al presupuesto que estás optimizando.
El artículo relacionado de Miller, How Not To Run An A/B Test, cubre la otra mitad de la trampa: mirar un test y pararlo en cuanto parece significativo. Haz eso y encontrarás un «ganador» casi siempre, incluso entre dos páginas idénticas.
Qué hacer cuando no puedes permitirte un tamaño de muestra
Negarse a medir tampoco es la respuesta. Tres cosas funcionan a pequeña escala:
Mide más arriba en el embudo. Los clics son 30 veces más comunes que las conversiones a una tasa del 3 %, así que la tasa de clics alcanza un tamaño de muestra utilizable 30 veces más rápido. Puedes comparar honestamente dos creatividades por CTR con unos cientos de impresiones cada una. No puedes compararlas por registros. Prueba aquello para lo que tienes datos suficientes, y sé explícito en que estás probando el sustituto.
Busca diferencias lo bastante grandes como para verlas. Los efectos pequeños necesitan muestras grandes; los enormes no. Si un cambio te lleva de 0 registros en 200 clics a 11 en 200 clics, no necesitas calculadora. Los presupuestos pequeños deberían ir a la caza de diferencias de orden de magnitud — otra audiencia, otro canal, otra oferta — no de subidas del 15 % en el color de un botón.
Cuenta lo cualitativo. Seis personas diciéndote que la página de precios las confundió es evidencia real, recogida de una muestra que ningún test estadístico aceptaría para una tasa. No es una tasa de conversión y no debería reportarse como tal, pero mejorará la página con más fiabilidad que un test que no te puedes permitir.
La frase que hay que guardarse
Cuando alguien te enseñe una tasa de conversión, pregunta cuál era el denominador. Si la respuesta baja de unos cientos, o el numerador baja de quince, el número es un relato y no una medición — y cuanto más precisamente se cite, menos significa. Una «tasa de conversión del 2,7 %» sacada de 74 clics y 2 registros son dos registros.
Por eso también las cifras honestas importan más que los tests rápidos cuando el presupuesto es pequeño: un test rápido que produce una respuesta equivocada y segura es peor que ningún test, porque actuarás sobre ella. Y por eso un presupuesto publicitario de 50 dólares se gasta mejor comprando una señal clara que repartido en tres ambiguas.
Gasta lo suficiente para aprender una cosa bien, o no gastes nada y ve a hablar con seis personas. El punto medio — bastante para producir números, no bastante para fiarte de ellos — es donde muere la mayoría de presupuestos publicitarios pequeños.