À propos de cet outil
Le Calculateur de significativité de test A/B est un outil gratuit, dans le navigateur, qui vous indique si la différence entre deux taux de conversion est statistiquement significative ou seulement du bruit. Saisissez les visiteurs et les conversions de chaque variante et il exécute un test z à deux proportions localement — aucune donnée ne quitte votre navigateur.
Les taux de conversion sont pA = cA ÷ nA et pB = cB ÷ nB, et le gain relatif est (pB − pA) ÷ pA × 100. Le test regroupe les deux groupes, p = (cA + cB) ÷ (nA + nB), calcule l'erreur standard SE = √(p(1−p)(1/nA + 1/nB)) et le score z z = (pB − pA) ÷ SE. La valeur p bilatérale est 2 × (1 − Φ(|z|)), où Φ est la fonction de répartition normale construite à partir d'une approximation de la fonction d'erreur (Abramowitz-Stegun 7.1.26) ; la confiance est (1 − valeur p) × 100.
Utilisez-le après un test fractionné pour décider si la variante B a réellement battu A. La tuile de verdict marque un résultat significatif à 95 % de confiance ou plus. Rappelez-vous que la significativité n'est pas la même chose qu'un effet important ou durable — pesez toujours aussi le gain et la taille de l'échantillon.
Foire aux questions
Quel test utilise-t-il ?
Un test z bilatéral à deux proportions avec une erreur standard groupée — la méthode standard pour comparer deux taux de conversion. La valeur p provient de la distribution normale via une approximation de la fonction d'erreur (formule Abramowitz-Stegun 7.1.26), et la confiance est 100 % moins la valeur p exprimée en pourcentage.
Que signifie 95 % de confiance ici ?
Cela signifie que si les deux variantes performaient réellement de la même façon, vous ne verriez une différence aussi grande ou plus grande qu'environ 5 % du temps par hasard. Le verdict affiche « Significatif » à 95 % de confiance ou plus. Cela ne vous indique pas l'ampleur de l'effet — vérifiez le gain pour cela.
Pourquoi ai-je un résultat invalide ?
Les conversions ne peuvent pas dépasser les visiteurs, et les deux nombres de visiteurs doivent être supérieurs à zéro. Le test a aussi besoin d'une certaine variance : si personne n'a converti dans l'un des groupes, ou si tout le monde l'a fait, l'erreur standard est nulle et aucun score z ne peut être formé, l'outil signale donc la saisie comme invalide.
La significativité suffit-elle à désigner un gagnant ?
Pas à elle seule. Une différence infime et sans importance peut être significative avec un échantillon énorme, tandis qu'un effet réel peut manquer la significativité avec un petit échantillon. Considérez le gain relatif, les nombres absolus et si le test a duré assez longtemps. Tous les calculs ici s'exécutent en privé dans votre navigateur.
Plus d'outils