definition en une ligne
Les tests A/B sont une expérience dans laquelle vous montrez deux versions d'une page, d'une fonctionnalité ou d'un message à différents groupes d'utilisateurs et mesurez laquelle est la plus performante.
formule : Répartissez le trafic 50/50 entre le contrôle et la variante. Exécutez jusqu'à ce que vous atteigniez une signification statistique (généralement un niveau de confiance de 95 %, environ 1 000 conversions par variante).
tl;dr
La plupart des fondateurs solo n'ont pas suffisamment de trafic pour des tests A/B statistiquement valides. Si vous avez moins de 10 000 visiteurs mensuels, apportez des changements audacieux et comparez plutôt d'une semaine à l'autre. Enregistrez les tests A/B formels pour les pages à fort trafic.
Définition simple
Les tests A/B divisent vos utilisateurs en deux groupes : l'un voit la version actuelle (contrôle) et l'autre voit une version modifiée (variante). Vous mesurez un résultat spécifique (inscriptions, clics, achats) et déterminez quelle version gagne. Cela élimine les incertitudes liées aux décisions relatives aux produits. Mais cela ne fonctionne qu’avec suffisamment de trafic. Pour les fondateurs solo, la chose la plus importante à comprendre à propos des tests A/B est de savoir quand ne pas les utiliser.
Comment le calculer
Répartir le trafic 50/50 entre le contrôle (A) et la variante (B). Définissez votre mesure de réussite avant de commencer : taux de conversion, taux de clics ou revenus par visiteur. Exécutez le test jusqu'à ce que les deux variantes aient suffisamment de conversions pour une signification statistique.
Méthode : Répartissez le trafic à 50/50 entre le contrôle et la variante. Exécutez jusqu'à ce que vous atteigniez une signification statistique (généralement un niveau de confiance de 95 %, environ 1 000 conversions par variante).
Utilisez un calculateur de taille d'échantillon (celui d'Evan Miller est populaire) pour déterminer la durée dont vous avez besoin pour exécuter. Une page convertie à 3 % a besoin d'environ 5 200 visiteurs par variante pour détecter une amélioration de 25 %. À 100 visiteurs/jour, cela représente plus de 100 jours, ce qui est trop lent pour la plupart des produits bootstrapés.
Exemple
Vous vendez un outil CLI pour les développeurs. Votre page de tarification reçoit 4 000 visites/mois et convertit à 4 % (160 inscriptions). Vous souhaitez tester si l’affichage en premier des prix annuels (au lieu de mensuels) augmente les conversions. À 4 % de référence, il vous faudrait environ 7 semaines pour atteindre un niveau significatif. Au lieu d'effectuer un test formel, vous passez d'abord au test annuel pendant deux semaines et comparez : les inscriptions passent de 40/semaine à 52/semaine. Ce n’est pas statistiquement rigoureux, mais une augmentation de 30 % sur deux semaines est un signal suffisamment fort pour maintenir le changement. Des tests A/B formels auraient pris près de deux mois pour vous dire la même chose.
Lecture connexe
- [Taux de conversion](/glossaire/taux de conversion)
- [Adoption de fonctionnalités](/glossaire/adoption de fonctionnalités)
Termes associes
- Taux de conversion
- CTR
- Adoption des fonctionnalités
FAQ
De combien de trafic ai-je besoin pour exécuter un test A/B valide ?+
Pour une page convertie à 5 %, vous avez besoin d'environ 1 500 visiteurs par variante pour détecter une amélioration relative de 20 % avec un niveau de confiance de 95 %. Cela représente un minimum de 3 000 visiteurs au total, ce qui peut prendre des mois pour les petits produits.
Que doivent tester A/B les fondateurs solo en premier ?+
Votre page de tarification et votre CTA d'inscription. Il s'agit de pages à fort impact et à fort trafic où de petites améliorations de conversion ont un impact direct sur les revenus. Ne perdez pas de temps à tester les couleurs des boutons.