Você gasta quarenta dólares, consegue sessenta cliques, e um deles se cadastra. 1,7% é bom? A resposta honesta é que você ainda não tem uma taxa de conversão — você tem um cadastro e muita aritmética. Tamanho de amostra é a coisa entre um número e uma decisão, e na escala de orçamento pequeno é quase sempre a coisa que está sendo ignorada. (Aviso: publicado pelo BidSurvivor, que vende publicidade e portanto tem interesse óbvio em você comprar alguma. A aritmética abaixo não é nossa e não está nem aí.)
Por que um cadastro não te diz quase nada
Conversões são eventos raros. Quando algo acontece raramente, a contagem que você observa oscila violentamente em torno da taxa verdadeira, mesmo sem nada no mundo ter mudado.
Pegue uma página que converte genuinamente a 3%. Mande 60 visitantes. O resultado individual mais provável são 2 conversões — mas 0 acontece em cerca de 16% das vezes, e 5 ou mais acontece com frequência suficiente para você ver, se rodar o teste algumas vezes. Então a mesma página, sem mudar nada, vai te mostrar 0%, 3,3% e 8,3% em três terças-feiras seguidas.
Agora imagine que você trocou o título entre essas terças. Você vai concluir que o título funcionou. Não funcionou. Você mediu ruído e deu uma causa a ele.
Isso não é um ponto estatístico sutil. É a forma mais comum de anunciantes pequenos desperdiçarem dinheiro: não nos anúncios, mas nas conclusões confiantes e erradas tiradas deles, que depois determinam para onde vão as próximas centenas de dólares.
A regra de bolso que vale memorizar
Para uma verificação grosseira de sanidade, você quer pelo menos 15 conversões antes de uma taxa valer ser citada, e bem mais antes de valer ser comparada com outra.
Quinze não é um número mágico — é aproximadamente onde o erro padrão relativo de uma contagem cai abaixo de 26%, que é o ponto em que o número para de oscilar tanto a ponto de te contar uma história diferente a cada semana. Abaixo disso, sua taxa é um boato.
Vire ao contrário e vira ferramenta de planejamento. Se você acredita que sua página converte perto de 3%, então:
- 15 conversões ÷ 0,03 = 500 cliques antes de a taxa significar muita coisa
- A US$ 0,60 o clique, isso são US$ 300 para aprender um número
A 1% são 1.500 cliques. A 10% são 150. Quanto menor a sua taxa de conversão, mais cara fica a certeza — que é exatamente o contrário do que a maioria supõe, porque uma taxa baixa dá a sensação de que deveria ser barata de estabelecer.
Esse é o cálculo por trás do veredicto de confiança da nossa calculadora de orçamento de anúncios: ela te diz não só o que um orçamento compra, mas se compra cliques suficientes para o número resultante valer alguma coisa. A maioria das calculadoras para antes dessa segunda parte, que é justamente a que decide se você deve confiar na primeira.
Comparar duas coisas é muito mais difícil que medir uma
Tudo acima serve para medir uma única taxa. Comparar duas — um teste A/B — é um problema diferente e bem mais caro, porque agora o ruído dos dois números precisa ser menor que a diferença entre eles.
A consequência prática: detectar uma mudança de 3% para 3,6% (uma melhora relativa de 20%, que seria um resultado muito bom) precisa de algo na casa de 13.000 visitantes por variante. A calculadora de tamanho de amostra de Evan Miller faz a conta exata com os números que você realmente tem, e vale dez minutos com os seus próprios dados antes de planejar um teste, não depois.
Para a maioria de quem lê isto, esse número encerra a conversa. Se você gasta US$ 200 por mês, você não consegue rodar um teste A/B válido de taxa de conversão. Não é "vai demorar" — você não consegue. O orçamento necessário para detectar o tamanho de melhora que você espera excede o orçamento que você está otimizando.
O texto relacionado de Miller, How Not To Run An A/B Test, cobre a outra metade da armadilha: ficar olhando um teste e parar no instante em que ele parece significativo. Faça isso e você vai achar um "vencedor" quase sempre, inclusive entre duas páginas idênticas.
O que fazer quando você não pode pagar por um tamanho de amostra
Recusar-se a medir também não é a resposta. Três coisas funcionam em escala pequena:
Meça mais acima no funil. Cliques são 30 vezes mais comuns que conversões a uma taxa de 3%, então a taxa de cliques alcança um tamanho de amostra utilizável 30 vezes mais rápido. Você consegue comparar honestamente dois criativos por CTR com algumas centenas de impressões cada. Não consegue compará-los por cadastros. Teste aquilo para o qual você tem dados suficientes, e seja explícito de que está testando o substituto.
Procure diferenças grandes o bastante para enxergar. Efeitos pequenos precisam de amostras grandes; efeitos enormes, não. Se uma mudança te leva de 0 cadastros em 200 cliques para 11 em 200 cliques, você não precisa de calculadora. Orçamentos pequenos deveriam caçar diferenças de ordem de grandeza — outro público, outro canal, outra oferta — e não ganhos de 15% na cor de um botão.
Conte o qualitativo. Seis pessoas te dizendo que a página de preços as confundiu é evidência real, colhida de uma amostra que nenhum teste estatístico aceitaria para uma taxa. Não é uma taxa de conversão e não deve ser reportada como uma, mas vai melhorar a página com mais confiabilidade que um teste que você não tem como bancar.
A frase para guardar
Quando alguém te mostrar uma taxa de conversão, pergunte qual era o denominador. Se a resposta for abaixo de algumas centenas, ou o numerador abaixo de quinze, o número é uma história, não uma medição — e quanto mais precisamente ele for citado, menos significa. Uma "taxa de conversão de 2,7%" tirada de 74 cliques e 2 cadastros são dois cadastros.
É também por isso que números honestos importam mais que testes rápidos quando o orçamento é pequeno: um teste rápido que produz uma resposta errada e confiante é pior que teste nenhum, porque você vai agir com base nela. E é por isso que um orçamento de publicidade de US$ 50 é melhor gasto comprando um sinal claro do que dividido em três ambíguos.
Gaste o suficiente para aprender uma coisa direito, ou não gaste nada e vá conversar com seis pessoas. O meio-termo — o bastante para produzir números, não o bastante para confiar neles — é onde morre a maioria dos orçamentos pequenos de publicidade.