A ilustracao mais clara do vies de sobrevivencia na publicidade foi resolvida em 1943, antes de ter qualquer coisa a ver com publicidade. Os militares americanos tinham um problema com bombardeiros. Muitos nao estavam voltando. Examinaram os que voltaram, mapearam os buracos de bala e encontraram os danos concentrados nas asas, na fuselagem e na posicao do artilheiro de cauda. A decisao obvia era blindar onde os buracos estavam.
Abraham Wald, um estatistico de Columbia, disse o contrario. Blindem onde nao ha buracos.
Os avioes que ele estava observando eram os sobreviventes. Todos tinham sido atingidos e voltado para casa, o que significava que impactos nesses lugares eram, por definicao, sobreviviveis. Os motores nao tinham marcas na amostra dele, nao porque nunca foram atingidos, mas porque um aviao atingido ali nao voltava para ser medido. O conjunto de dados tinha um buraco com o formato exato da resposta.
Isso se chama vies de sobrevivencia, e uma vez que voce ve, nao consegue parar de ver. Tambem e, mais ou menos, o modelo de negocios da publicidade digital.
O caso de sucesso e o bombardeiro que voltou
Abra a pagina de clientes de qualquer plataforma de anuncios. Cada logo e um aviao que chegou em casa.
"Como a Acme cortou o CAC em 60%." "Como uma equipe de duas pessoas atingiu $40k MRR com anuncios pagos." Tudo verdade, presumivelmente. Tudo medido sobre os sobreviventes.
As empresas que gastaram o mesmo dinheiro, executaram o mesmo plano e nao conseguiram nada nao estao nessa pagina. Nao estao em pagina nenhuma. Desistiram em silencio, nao contaram a ninguem, e a ausencia delas e a coisa mais informativa sobre todo o exercicio, e e invisivel.
Voce nao consegue calcular uma taxa de sucesso a partir de um muro de sucessos. Mas e contra esse muro que quase toda decisao publicitaria e tomada.
Piora, porque a selecao acontece duas vezes. Primeiro, so os vencedores sao documentados. Segundo, os vencedores se autosselecionam para serem documentados: os que se deram bem ficam felizes em ser um caso de sucesso, os que se deram mal param de responder e-mails. A amostra e filtrada, e depois filtrada novamente pelo mesmo criterio.
Tres situacoes onde isso prejudica a publicidade
Benchmarks. Uma taxa de conversao media de 8.18% parece uma meta a atingir. E uma media sobre contas que ainda estavam ativas quando os dados foram coletados. Contas que fracassaram e foram encerradas no segundo mes tem, por construcao, menos probabilidade de estar incluidas. Benchmarks honestos sao transparentes sobre sua metodologia: o da WordStream diz claramente que cobre mais de 13.000 campanhas ativas, mas "campanhas ativas" e o filtro. As mortas tambem tinham numeros.
Folclore de canal. "Anuncios no Reddit funcionam otimo para ferramentas de desenvolvedores." Talvez. Ou: as pessoas para quem o Reddit funcionou escreveram threads sobre isso, e as pessoas para quem nao funcionou nao escreveram nada, e voce esta lendo o resultado desse filtro e chamando de evidencia.
Sua propria historia. A campanha que voce lembra como um triunfo e a que voce manteve rodando. As tres que voce matou na primeira semana nao estao na sua media mental. Sua intuicao sobre o que funciona tambem e treinada com uma amostra de sobreviventes.
Como ler um caso de sucesso mesmo assim
Voce vai continuar lendo, entao aqui esta o habito que os torna uteis em vez de enganosos.
- Peca o denominador. Quantos clientes executaram esse plano? Se a resposta for "nao publicamos isso", o caso de sucesso e uma anedota, e deve ser avaliado como tal.
- Procure a metrica que nao foi escolhida. Um caso de sucesso que reporta retorno sobre gasto publicitario e nao o gasto, ou cliques e nao conversoes, escolheu o numero que sobreviveu. Metricas de vaidade vs cliques reais e o guia de campo para essa escolha.
- Encontre a data. Um resultado de uma plataforma de dois anos atras e um resultado de um leilao diferente com precos diferentes.
- Prefira vendedores que publicam tudo. Existe uma lista curta de plataformas de anuncios que publicam seus numeros, e e curta porque publicar perdas e ruim para os negocios.
Como seria uma medicao honesta
A solucao nao e mais dados. Sao dados que incluam os fracassos.
Isso significa publicar perdas no mesmo volume e destaque que as vitorias. Significa um denominador: nao "veja os resultados dessa marca" mas "isso e o que cada marca conseguiu, incluindo as que nao conseguiram nada." Significa o leitor poder calcular a taxa de fracasso por conta propria em vez de confiar em um compilado filtrado.
Quase nenhuma plataforma de anuncios faz isso, e a razao nao e conspiracao. E que o incentivo de uma plataforma vai na direcao oposta. Os fracassos sao ruins para os negocios, e ninguem esta forcando ninguem a publica-los.
O que fizemos a respeito
Preciso ser direto: eu administro um painel de anuncios, entao aqui e onde conto o que construimos. Considere como um exemplo pratico do principio e nao como um pitch: as regras completas estao na propria pagina.
O BidSurvivor leiloa publicidade doze horas por vez, dois espacos por dia. O lance mais alto fica com o espaco e pode ser superado por qualquer pessoa a qualquer momento. Duas coisas decorrem dessa estrutura, e ambas sao sobre os bombardeiros que nao voltaram para casa.
Perder e publico. O ticker na parte inferior do painel diz, em poucas palavras, "XYZ nao conseguiu sobreviver ao lance de ABC." Ser deslocado nao e escondido nem amenizado. Passa na frente de todos. O site se chama BidSurvivor porque a maioria dos lances nao sobrevive, e essa e a descricao honesta de um leilao.
Os numeros de cada marca sao publicos, nao so os bons. Cada marca que teve um espaco tem uma pagina mostrando o que o painel realmente enviou: aberturas de cartao, cliques, a taxa entre eles. Nao uma amostra selecionada. Todos, incluindo os que tem resultados constrangedores.
Um detalhe que debatemos e acertamos, eu acho: ocultamos a taxa de cliques ate que uma marca tenha pelo menos cinco aberturas de cartao. Duas visitas de duas aberturas nao e "100%". Nao e suficiente para dividir, e um numero de manchete que nao significa nada e pior do que nenhum numero. Amostras pequenas sao como o vies de sobrevivencia se infiltra de novo pela porta da frente.
Isso significa que voce pode olhar para o painel e concluir que um espaco nao vale seu dinheiro. Preferimos que voce faca isso do que compre um baseado em uma promessa e va embora. Tambem significa que o painel so e util como teste rapido se a leitura for honesta, que e o argumento de testes de marketing rapidos precisam de numeros honestos.
A parte desconfortavel
A intuicao de Wald so funciona se voce esta disposto a raciocinar sobre dados que nao pode ver. Isso e mais dificil do que parece, porque os dados ausentes estao ausentes: nao se anunciam, nao aparecem como um erro, simplesmente nao estao la.
O habito que vale a pena construir e pequeno. Toda vez que voce vir um resultado publicitario, faca uma pergunta: como teriam sido os que fracassaram, e eu teria ficado sabendo?
Se a resposta for "eu nunca teria ficado sabendo", voce esta olhando para as asas de um bombardeiro e prestes a blindar a parte errada do aviao.
A historia de Wald e bem documentada; seus memorandos originais de guerra foram publicados pelo Statistical Research Group de Columbia e sao amplamente reproduzidos. As cifras de benchmarks citadas sao dos benchmarks de Google Ads 2026 da WordStream.