Informazioni su questo strumento
Il Calcolatore di significatività test A/B è uno strumento gratuito, in-browser, che ti dice se la differenza tra due tassi di conversione è statisticamente significativa o solo rumore. Inserisci i visitatori e le conversioni di ogni variante ed esegue un test z a due proporzioni localmente — nessun dato lascia il tuo browser.
I tassi di conversione sono pA = cA ÷ nA e pB = cB ÷ nB, e l'incremento relativo è (pB − pA) ÷ pA × 100. Il test accorpa i due gruppi, p = (cA + cB) ÷ (nA + nB), calcola l'errore standard SE = √(p(1−p)(1/nA + 1/nB)) e il punteggio z = (pB − pA) ÷ SE. Il p-value a due code è 2 × (1 − Φ(|z|)), dove Φ è la CDF normale costruita da un'approssimazione della funzione di errore (Abramowitz-Stegun 7.1.26); la confidenza è (1 − p-value) × 100.
Usalo dopo uno split test per decidere se la variante B ha davvero battuto la A. Il riquadro del verdetto segna un risultato significativo con una confidenza del 95% o superiore. Ricorda che la significatività non è la stessa cosa di un effetto grande o durevole — valuta sempre anche l'incremento e la dimensione del campione.
Domande frequenti
Quale test usa?
Un test z a due proporzioni a due code con un errore standard accorpato — il metodo standard per confrontare due tassi di conversione. Il p-value proviene dalla distribuzione normale tramite un'approssimazione della funzione di errore (formula Abramowitz-Stegun 7.1.26), e la confidenza è 100% meno il p-value in percentuale.
Cosa significa qui una confidenza del 95%?
Significa che, se le due varianti avessero davvero la stessa performance, vedresti una differenza così grande o maggiore solo circa il 5% delle volte per caso. Il verdetto recita 'Significativo' con una confidenza del 95% o superiore. Non ti dice la dimensione dell'effetto — controlla l'incremento per quello.
Perché ottengo un risultato non valido?
Le conversioni non possono superare i visitatori, ed entrambi i conteggi di visitatori devono essere maggiori di zero. Il test richiede anche una certa varianza: se nessuno ha convertito in nessuno dei due gruppi, o tutti l'hanno fatto, l'errore standard è zero e non si può formare alcun punteggio z, quindi lo strumento segnala l'input come non valido.
La significatività basta per dichiarare un vincitore?
Non da sola. Una differenza minuscola e irrilevante può essere significativa con un campione enorme, mentre un effetto reale può mancare la significatività con uno piccolo. Considera l'incremento relativo, i numeri assoluti e se il test è durato abbastanza a lungo. Tutti i calcoli qui avvengono privatamente nel tuo browser.
Altri strumenti