Vous dépensez quarante dollars, obtenez soixante clics, et l'un d'eux s'inscrit. Est-ce que 1,7 % est bon ? La réponse honnête est que vous n'avez pas encore de taux de conversion — vous avez une inscription et beaucoup d'arithmétique. La taille d'échantillon est ce qui sépare un chiffre d'une décision, et à l'échelle des petits budgets c'est presque toujours ce qu'on ignore. (Divulgation : publié par BidSurvivor, qui vend de la publicité et a donc un intérêt évident à ce que vous en achetiez. L'arithmétique ci-dessous n'est pas la nôtre et s'en moque.)
Pourquoi une inscription ne vous apprend presque rien
Les conversions sont des événements rares. Quand une chose se produit rarement, le décompte que vous observez oscille énormément autour du taux réel, même si rien dans le monde n'a changé.
Prenez une page qui convertit réellement à 3 %. Envoyez-lui 60 visiteurs. Le résultat le plus probable est 2 conversions — mais 0 arrive environ 16 % du temps, et 5 ou plus arrive assez souvent pour que vous le voyiez si vous répétez le test quelques fois. Donc la même page, inchangée, vous montrera 0 %, 3,3 % et 8,3 % trois mardis de suite.
Imaginez maintenant que vous avez changé le titre entre ces mardis. Vous conclurez que le titre a marché. Il n'a rien fait. Vous avez mesuré du bruit et lui avez donné une cause.
Ce n'est pas une subtilité statistique. C'est la manière la plus répandue dont les petits annonceurs gaspillent de l'argent : non pas sur les publicités, mais sur les conclusions fausses et assurées qu'ils en tirent, et qui déterminent ensuite où partent les centaines de dollars suivantes.
La règle empirique à mémoriser
Pour une vérification grossière, il vous faut au moins 15 conversions avant qu'un taux mérite d'être cité, et beaucoup plus avant qu'il mérite d'être comparé à un autre.
Quinze n'est pas un nombre magique — c'est à peu près là où l'erreur type relative d'un décompte passe sous 26 %, le point où le chiffre cesse de bouger au point de raconter une histoire différente chaque semaine. En dessous, votre taux est une rumeur.
Retournez-le et cela devient un outil de planification. Si vous pensez que votre page convertit autour de 3 %, alors :
- 15 conversions ÷ 0,03 = 500 clics avant que le taux ne signifie grand-chose
- À 0,60 $ le clic, cela fait 300 $ pour apprendre un seul chiffre
À 1 %, c'est 1 500 clics. À 10 %, c'est 150. Plus votre taux de conversion est bas, plus la certitude coûte cher — exactement l'inverse de ce que la plupart des gens supposent, parce qu'un taux faible donne l'impression qu'il devrait être bon marché à établir.
C'est le calcul derrière le verdict de confiance de notre calculateur de budget publicitaire : il vous dit non seulement ce qu'un budget achète, mais si celui-ci achète assez de clics pour que le chiffre obtenu vaille quelque chose. La plupart des calculateurs s'arrêtent avant cette seconde partie, qui est justement celle qui décide si vous devez croire la première.
Comparer deux choses est bien plus dur que d'en mesurer une
Tout ce qui précède sert à mesurer un seul taux. En comparer deux — un test A/B — est un problème différent et bien plus coûteux, parce que le bruit des deux chiffres doit désormais être plus petit que l'écart entre eux.
La conséquence pratique : détecter un passage de 3 % à 3,6 % (une amélioration relative de 20 %, ce qui serait un très bon résultat) demande de l'ordre de 13 000 visiteurs par variante. Le calculateur de taille d'échantillon d'Evan Miller fera le calcul exact avec les chiffres que vous avez réellement, et il mérite dix minutes avec vos propres données avant de planifier un test, pas après.
Pour la plupart des gens qui lisent ceci, ce chiffre clôt la discussion. Si vous dépensez 200 $ par mois, vous ne pouvez pas mener un test A/B valide sur le taux de conversion. Pas « cela prendra du temps » — vous ne pouvez pas. Le budget nécessaire pour détecter l'ampleur d'amélioration que vous espérez dépasse le budget que vous optimisez.
Le texte associé de Miller, How Not To Run An A/B Test, couvre l'autre moitié du piège : surveiller un test et l'arrêter dès qu'il paraît significatif. Faites cela et vous trouverez un « gagnant » presque à tous les coups, y compris entre deux pages identiques.
Que faire quand la taille d'échantillon est hors de prix
Refuser de mesurer n'est pas non plus la réponse. Trois choses fonctionnent à petite échelle :
Mesurez plus haut dans l'entonnoir. Les clics sont 30 fois plus fréquents que les conversions à un taux de 3 %, donc le taux de clic atteint une taille d'échantillon exploitable 30 fois plus vite. Vous pouvez honnêtement comparer deux créations sur le taux de clic avec quelques centaines d'impressions chacune. Vous ne pouvez pas les comparer sur les inscriptions. Testez ce pour quoi vous avez assez de données, et dites explicitement que vous testez l'indicateur de substitution.
Cherchez des écarts assez grands pour se voir. Les petits effets exigent de grands échantillons ; les énormes, non. Si un changement vous fait passer de 0 inscription sur 200 clics à 11 sur 200, vous n'avez pas besoin d'un calculateur. Les petits budgets devraient chasser des différences d'ordre de grandeur — une autre audience, un autre canal, une autre offre — pas des gains de 15 % sur la couleur d'un bouton.
Comptez le qualitatif. Six personnes qui vous disent que la page tarifaire les a perdues, c'est une preuve réelle, tirée d'un échantillon qu'aucun test statistique n'accepterait pour un taux. Ce n'est pas un taux de conversion et cela ne doit pas être présenté comme tel, mais cela améliorera la page plus sûrement qu'un test que vous n'avez pas les moyens de mener.
La phrase à garder
Quand quelqu'un vous montre un taux de conversion, demandez quel était le dénominateur. Si la réponse est sous quelques centaines, ou le numérateur sous quinze, le chiffre est une histoire et non une mesure — et plus il est cité avec précision, moins il veut dire. Un « taux de conversion de 2,7 % » tiré de 74 clics et 2 inscriptions, ce sont deux inscriptions.
C'est aussi pourquoi des chiffres honnêtes comptent plus que des tests rapides quand le budget est petit : un test rapide qui produit une réponse fausse et assurée est pire que pas de test, parce que vous allez agir dessus. Et c'est pourquoi un budget publicitaire de 50 $ est mieux dépensé à acheter un signal net qu'éclaté en trois signaux ambigus.
Dépensez assez pour apprendre une chose correctement, ou ne dépensez rien et allez parler à six personnes. L'entre-deux — assez pour produire des chiffres, pas assez pour y croire — est là où meurent la plupart des petits budgets publicitaires.