Skip to content
← retour au tableau

Tester un message correctement ou cinq mal?

2026-10-30 · 5 min de lecture

Le tableau et le formulaire d’enchère sont en anglais. Cette page ne l’est pas, et le dire ici est plus honnête que de vous laisser le découvrir au clic.

Demander s'il vaut mieux tester un message ou plusieurs ressemble a une question de gout, et ce n'en est pas une — c'est de la division. Un budget achete un nombre fixe de clics, le diviser divise les clics, et en dessous d'un certain nombre par variante rien de ce que vous observez ne se distingue du hasard. Le nombre de messages qu'un budget peut reellement departager est generalement un, parfois deux, et presque jamais les cinq que l'instinct de tout tester reclame. (Transparence : publie par BidSurvivor, qui vend des emplacements que vous pourriez utiliser pour tester des messages, y compris gratuitement.)

La division qui tranche

Prenez $300 et un canal a $1 le clic. Ca fait 300 clics.

  • Un message : 300 clics sur une seule ligne.
  • Trois messages : 100 chacun.
  • Cinq messages : 60 chacun.

Appliquez maintenant la regle empirique : un taux a besoin d'environ 15 evenements avant de meriter d'etre cite, et de bien plus avant de meriter d'etre compare a un autre taux. Avec un taux de conversion de 3%, 60 clics produisent 1.8 conversions en moyenne. Deux de vos cinq variantes afficheront zero et une affichera quatre, et rien de tout cela ne concerne le texte.

Avec 300 clics sur une seule ligne vous obtenez 9 conversions. Toujours pas beaucoup — mais c'est suffisant pour distinguer une page qui convertit a 1% d'une qui convertit a 5%, et c'est cette difference qui change reellement ce que vous faites ensuite.

Le test a cinq variantes ne vous donne donc pas cinq reponses. Il vous donne cinq chiffres dont aucun n'est une reponse, et la forte impression que celui du haut est le gagnant. Cette impression est la partie couteuse.

Ce que le test a cinq variantes mesure vraiment

Le defaut merite d'etre nomme avec precision : avec 60 clics par variante vous mesurez quelle variante a eu de la chance, et la chance ne se reproduit pas. Relancez les cinq memes lignes la semaine suivante et une autre menera. Ceux qui font cela regulierement decouvrent que leur "gagnant" ne se replique pas, et concluent generalement que quelque chose a change dans le marche.

Rien n'a change dans le marche. Le premier resultat etait du bruit et le second aussi.

C'est le meme mecanisme que lire un taux de conversion sur trop peu de clics, en pire, parce que comparer deux chiffres bruites demande bien plus de donnees que d'en mesurer un seul — le calculateur de taille d'echantillon d'Evan Miller vous chiffrera cette difference avec vos propres donnees en une minute environ.

Quand tester plusieurs est justifie

Il existe un vrai cas pour tester plusieurs variantes a la fois, et ce n'est pas celui auquel les gens pensent.

Quand les effets sont enormes. Si une ligne obtient 40 clics pour mille impressions et une autre en obtient 3, vous n'avez pas besoin de calculateur. Les petits budgets devraient chercher des differences de cette ampleur — une autre audience, une autre offre, un autre cadrage — pas des ameliorations de 15% sur la redaction.

Quand vous testez plus haut dans l'entonnoir. Le taux de clics a environ trente fois le volume d'evenements d'un taux de conversion de 3%, il atteint donc un echantillon exploitable trente fois plus vite. Vous pouvez honnement comparer quatre creatifs sur le taux de clics avec quelques centaines d'impressions chacun. Vous ne pouvez pas les comparer sur les inscriptions. Testez ce pour quoi vous avez les donnees, et etiquetez-le comme le proxy qu'il est.

Quand ca ne coute rien. C'est le cas qui merite d'etre construit, et c'est la que se trouve notre propre tableau. BidSurvivor propose deux creneaux de douze heures par jour ; la premiere marque dans un creneau vide paie $0, et chaque visiteur commence avec $100 de credit maison, si bien que les creneaux contestes (a partir d'un plancher de $1.00) ne coutent rien de sa poche aux tarifs actuels. Differents creneaux a differents jours peuvent porter differentes lignes, et les ouvertures de fiche et clics de chaque creneau sont publies separement.

La limite honnete : les volumes sont faibles, donc cela elimine plutot que de couronner. Une ligne qui n'obtient rien a froid, deux fois, n'est pas une ligne qui merite un budget — c'est un vrai constat et il est gratuit. Une ligne qui fait legerement mieux qu'une autre n'est pas distinguable a ces volumes, et le tableau ne pretendra pas le contraire.

L'ordre qui gaspille le moins

  1. Ecrivez plus de lignes que vous n'allez en tester. Huit, deliberement. La huitieme est souvent la bonne, parce qu'a ce stade les cadrages evidents sont epuises. Exemples de pitch en une ligne contient les schemas.
  2. Eliminez gratuitement. Tests de cinq secondes sur des inconnus, puis creneaux gratuits. Attendez-vous a en perdre la plupart, et laissez les echecs etre unanimes plutot que marginaux.
  3. Arrivez a deux. Pas un — deux, pour que le test paye ait quelque chose a comparer.
  4. Depensez la totalite du budget sur ces deux-la, un canal, assez de clics pour que chaque cote franchisse la barre de l'echantillon. Si le budget ne couvre pas deux, il en couvre un, et le geste honnete est d'en tester un correctement plutot que deux mal.
  5. Changez une seule chose entre les tours. Sinon une difference vous dit que quelque chose a bouge sans vous dire quoi.

La version inconfortable

La plupart des petits annonceurs apprendraient plus en depensant la totalite de leur budget sur un seul message que par n'importe quel split qu'ils concevraient probablement. C'est une recommandation frustrante parce qu'elle ressemble a moins de tests, et c'est en fait plus : un resultat lisible bat cinq illisibles, et cinq illisibles c'est ce qu'un budget divise achete a cette echelle.

Si le budget est si petit que meme un seul message ne peut pas franchir la barre — et $200 en general ne le peuvent pas — alors la reponse n'est pas de le diviser davantage. C'est d'arreter d'acheter des clics et d'aller chercher la reponse quelque part de moins cher d'abord.