Over deze tool
A/B-test-significantiecalculator is een gratis tool in de browser die je vertelt of het verschil tussen twee conversiepercentages statistisch significant is of gewoon ruis. Voer voor elke variant het aantal bezoekers en conversies in en het voert lokaal een z-test voor twee proporties uit — er verlaten geen gegevens je browser.
De conversiepercentages zijn pA = cA ÷ nA en pB = cB ÷ nB, en de relatieve uplift is (pB − pA) ÷ pA × 100. De test poolt de twee groepen, p = (cA + cB) ÷ (nA + nB), berekent de standaardfout SE = √(p(1−p)(1/nA + 1/nB)) en de z-score z = (pB − pA) ÷ SE. De tweezijdige p-waarde is 2 × (1 − Φ(|z|)), waarbij Φ de normale CDF is die is opgebouwd uit een benadering van de foutfunctie (Abramowitz-Stegun 7.1.26); de betrouwbaarheid is (1 − p-waarde) × 100.
Gebruik het na een split-test om te bepalen of variant B werkelijk beter presteerde dan A. De oordeeltegel markeert een resultaat als significant bij 95% betrouwbaarheid of hoger. Onthoud dat significantie niet hetzelfde is als een groot of duurzaam effect — weeg altijd ook de uplift en de steekproefomvang mee.
Veelgestelde vragen
Welke test gebruikt dit?
Een tweezijdige z-test voor twee proporties met een gepoolde standaardfout — de standaardmethode voor het vergelijken van twee conversiepercentages. De p-waarde komt uit de normale verdeling via een benadering van de foutfunctie (Abramowitz-Stegun-formule 7.1.26), en de betrouwbaarheid is 100% minus de p-waarde als percentage.
Wat betekent 95% betrouwbaarheid hier?
Het betekent dat als de twee varianten werkelijk gelijk presteerden, je een verschil zo groot of groter slechts ongeveer 5% van de tijd door toeval zou zien. Het oordeel luidt 'Significant' bij 95% betrouwbaarheid of hoger. Het vertelt je niet de grootte van het effect — controleer daarvoor de uplift.
Waarom krijg ik een ongeldig resultaat?
Conversies kunnen niet meer zijn dan bezoekers, en beide bezoekersaantallen moeten boven nul zijn. De test heeft ook enige variantie nodig: als niemand in beide groepen converteerde, of iedereen wel, is de standaardfout nul en kan er geen z-score worden gevormd, dus de tool meldt de invoer als ongeldig.
Is significantie genoeg om een winnaar aan te wijzen?
Niet op zichzelf. Een klein, onbelangrijk verschil kan significant zijn bij een enorme steekproef, terwijl een echt effect de significantie kan missen bij een kleine. Overweeg de relatieve uplift, de absolute getallen en of de test lang genoeg liep. Alle berekeningen hier draaien privé in je browser.
Meer tools