L'illustration la plus claire du biais du survivant dans la publicite a ete resolue en 1943, avant d'avoir quoi que ce soit a voir avec la publicite. L'armee americaine avait un probleme avec ses bombardiers. Trop ne revenaient pas. Ils ont examine ceux qui revenaient, cartographie les impacts de balles et constate que les degats se concentraient sur les ailes, le fuselage et le poste du mitrailleur arriere. La decision evidente etait de blinder la ou se trouvaient les trous.
Abraham Wald, un statisticien de Columbia, a dit l'inverse. Blindez la ou il n'y a pas de trous.
Les avions qu'il observait etaient les survivants. Chacun d'entre eux avait ete touche et etait rentre, ce qui signifiait que les impacts a ces endroits etaient, par definition, survivables. Les moteurs n'avaient pas de marques dans son echantillon, non pas parce qu'ils n'etaient jamais touches, mais parce qu'un avion touche la ne revenait pas pour etre mesure. Le jeu de donnees avait un trou ayant exactement la forme de la reponse.
Cela s'appelle le biais du survivant, et une fois que vous le voyez, vous ne pouvez plus arreter de le voir. C'est aussi, plus ou moins, le modele economique de la publicite numerique.
L'etude de cas est le bombardier qui est revenu
Ouvrez la page clients de n'importe quelle plateforme publicitaire. Chaque logo est un avion qui est rentre a la base.
"Comment Acme a reduit son CAC de 60%." "Comment une equipe de deux personnes a atteint $40k MRR grace au payant." Tout est vrai, presumablement. Tout mesure sur les survivants.
Les entreprises qui ont depense le meme argent, suivi le meme plan et n'ont rien obtenu ne sont pas sur cette page. Elles ne sont sur aucune page. Elles sont parties en silence, n'ont rien dit a personne, et leur absence est la chose la plus informative de tout l'exercice, et elle est invisible.
On ne peut pas calculer un taux de reussite a partir d'un mur de reussites. Mais c'est contre ce mur que presque chaque decision publicitaire est prise.
Ca empire, parce que la selection se produit deux fois. D'abord, seuls les gagnants sont documentes. Ensuite, les gagnants s'autoselectionnent pour etre documentes : ceux qui ont bien marche sont ravis d'etre une etude de cas, ceux qui ont echoue cessent de repondre aux mails. L'echantillon est filtre, puis filtre a nouveau par le meme critere.
Trois situations ou ca nuit a la publicite
Les benchmarks. Un taux de conversion moyen de 8,18% ressemble a un objectif a atteindre. C'est une moyenne sur les comptes qui etaient encore actifs quand les donnees ont ete collectees. Les comptes qui ont echoue et ont ete coupes au deuxieme mois ont, par construction, moins de chances d'y figurer. Les benchmarks honnetes sont transparents sur leur methode : celui de WordStream dit clairement qu'il couvre plus de 13 000 campagnes actives, mais "campagnes actives" est le filtre. Les mortes avaient aussi des chiffres.
Le folklore de canal. "Les pubs Reddit marchent super bien pour les outils developpeurs." Peut-etre. Ou alors : les gens pour qui Reddit a marche ont ecrit des threads a ce sujet, et ceux pour qui ca n'a pas marche n'ont rien ecrit, et vous lisez le resultat de ce filtre en appelant ca une preuve.
Votre propre historique. La campagne dont vous vous souvenez comme un triomphe est celle que vous avez laissee tourner. Les trois que vous avez tuees en premiere semaine ne sont pas dans votre moyenne mentale. Votre intuition sur ce qui marche est, elle aussi, entrainee sur un echantillon de survivants.
Comment lire une etude de cas malgre tout
Vous allez continuer a en lire, alors voici l'habitude qui les rend utiles plutot que trompeuses.
- Demandez le denominateur. Combien de clients ont suivi ce plan ? Si la reponse est "nous ne publions pas ca", l'etude de cas est une anecdote, et doit etre evaluee comme telle.
- Cherchez la metrique qui n'a pas ete choisie. Une etude de cas qui rapporte le retour sur depense publicitaire mais pas la depense, ou les clics mais pas les conversions, a choisi le chiffre qui a survecu. Metriques de vanite vs vrais clics est le guide de terrain pour cette selection.
- Trouvez la date. Un resultat d'une plateforme d'il y a deux ans est un resultat d'une enchere differente avec des prix differents.
- Preferez les vendeurs qui publient tout. Il existe une liste courte de plateformes publicitaires qui publient leurs chiffres, et elle est courte parce que publier ses pertes est mauvais pour le business.
A quoi ressemblerait une mesure honnete
La solution n'est pas plus de donnees. Ce sont des donnees qui incluent les echecs.
Cela signifie publier les pertes avec le meme volume et la meme visibilite que les victoires. Cela signifie un denominateur : pas "regardez les resultats de cette marque" mais "voici ce que chaque marque a obtenu, y compris celles qui n'ont rien obtenu." Cela signifie que le lecteur puisse calculer le taux d'echec lui-meme plutot que de faire confiance a un florilege filtre.
Presque aucune plateforme publicitaire ne fait cela, et la raison n'est pas un complot. C'est que l'incitation d'une plateforme va dans l'autre sens. Les echecs sont mauvais pour le business, et personne n'oblige personne a les publier.
Ce que nous avons fait
Je dois etre direct : je gere un panneau publicitaire, donc c'est ici que je vous raconte ce que nous avons construit. Prenez-le comme un exemple concret du principe plutot que comme un pitch : les regles completes sont sur leur propre page.
BidSurvivor met aux encheres de la publicite douze heures a la fois, deux emplacements par jour. L'offre la plus haute detient l'emplacement et peut etre surencheree par n'importe qui a tout moment. Deux choses decoulent de cette structure, et toutes les deux concernent les bombardiers qui ne sont pas rentres.
Perdre est public. Le ticker en bas du panneau dit, en substance, "XYZ n'a pas survecu a l'offre de ABC." Etre deplace n'est ni cache ni adouci. Ca defile devant tout le monde. Le site s'appelle BidSurvivor parce que la plupart des offres ne survivent pas, et c'est la description honnete d'une enchere.
Les chiffres de chaque marque sont publics, pas seulement les bons. Chaque marque qui a tenu un emplacement a une page montrant ce que le panneau lui a reellement envoye : ouvertures de carte, clics, le taux entre les deux. Pas un echantillon selectionne. Tous, y compris ceux ou la reponse est embarrassante.
Un detail sur lequel nous avons debattu et que nous avons bien gere, je crois : nous ne montrons le taux de clics que quand une marque a au moins cinq ouvertures de carte. Deux visites sur deux ouvertures, ce n'est pas "100%". Ce n'est pas assez pour diviser, et un chiffre titre qui ne veut rien dire est pire qu'aucun chiffre. Les petits echantillons sont la facon dont le biais du survivant se reintroduit par la porte d'entree.
Cela signifie que vous pouvez regarder le panneau et conclure qu'un emplacement ne vaut pas votre argent. Nous preferons que vous fassiez cela plutot que d'en acheter un sur une promesse et de partir. Cela signifie aussi que le panneau n'est utile comme test rapide que si la lecture est honnete, ce qui est l'argument de les tests marketing rapides ont besoin de chiffres honnetes.
La partie inconfortable
L'intuition de Wald ne fonctionne que si vous etes pret a raisonner sur des donnees que vous ne pouvez pas voir. C'est plus difficile qu'il n'y parait, parce que les donnees manquantes sont manquantes : elles ne s'annoncent pas, elles n'apparaissent pas comme une erreur, elles ne sont tout simplement pas la.
L'habitude qui vaut la peine d'etre construite est petite. Chaque fois que vous voyez un resultat publicitaire, posez une question : a quoi auraient ressemble ceux qui ont echoue, et l'aurais-je jamais su ?
Si la reponse est "je ne l'aurais jamais su", vous regardez les ailes d'un bombardier et vous etes sur le point de blinder la mauvaise partie de l'avion.
L'histoire de Wald est bien documentee ; ses memorandums originaux de guerre ont ete publies par le Statistical Research Group de Columbia et sont largement reproduits. Les chiffres de benchmarks cites proviennent des benchmarks Google Ads 2026 de WordStream.