Про цей інструмент
Калькулятор значущості A/B-тесту — це безкоштовний браузерний інструмент, який каже, чи різниця між двома коефіцієнтами конверсії статистично значуща, чи це просто шум. Введіть відвідувачів і конверсії кожного варіанта, і він виконає z-тест двох пропорцій локально — жодні дані не залишають ваш браузер.
Коефіцієнти конверсії — це pA = cA ÷ nA і pB = cB ÷ nB, а відносний приріст — це (pB − pA) ÷ pA × 100. Тест об'єднує дві групи, p = (cA + cB) ÷ (nA + nB), обчислює стандартну похибку SE = √(p(1−p)(1/nA + 1/nB)) та z-показник z = (pB − pA) ÷ SE. Двостороннє p-значення — це 2 × (1 − Φ(|z|)), де Φ — це нормальна CDF, побудована з наближення функції помилок (Abramowitz-Stegun 7.1.26); довіра — це (1 − p-значення) × 100.
Використовуйте його після спліт-тесту, щоб вирішити, чи варіант B справді переміг A. Плитка вердикту позначає результат як значущий за довіри 95% або вище. Пам'ятайте, що значущість — це не те саме, що великий чи стійкий ефект — завжди зважайте також приріст та розмір вибірки.
Поширені запитання
Який тест тут використовується?
Двосторонній z-тест двох пропорцій з об'єднаною стандартною похибкою — стандартний метод порівняння двох коефіцієнтів конверсії. P-значення походить із нормального розподілу через наближення функції помилок (формула Abramowitz-Stegun 7.1.26), а довіра — це 100% мінус p-значення у відсотках.
Що тут означає довіра 95%?
Це означає, що якби два варіанти справді працювали однаково, ви побачили б різницю таку велику чи більшу лише приблизно у 5% випадків через випадковість. Вердикт читається як «Значущий» за довіри 95% або вище. Він не каже вам розмір ефекту — для цього перевірте приріст.
Чому я отримую недійсний результат?
Конверсії не можуть перевищувати відвідувачів, і обидві кількості відвідувачів мають бути більше нуля. Тест також потребує деякої дисперсії: якщо ніхто не конвертувався в жодній групі, або всі — стандартна похибка дорівнює нулю, і z-показник неможливо сформувати, тож інструмент повідомляє про недійсні дані.
Чи достатньо значущості, щоб оголосити переможця?
Не саму по собі. Крихітна, неважлива різниця може бути значущою за величезної вибірки, тоді як реальний ефект може не досягти значущості за малої. Врахуйте відносний приріст, абсолютні числа й те, чи достатньо довго тривав тест. Усі обчислення тут виконуються приватно у вашому браузері.
Більше інструментів