Tentang alat ini
Kalkulator Signifikansi Uji A/B adalah alat gratis di dalam browser yang memberi tahu apakah perbedaan antara dua tingkat konversi signifikan secara statistik atau hanya derau. Masukkan pengunjung dan konversi setiap varian dan ia menjalankan uji-z dua proporsi secara lokal — tidak ada data yang meninggalkan browser Anda.
Tingkat konversi adalah pA = cA ÷ nA dan pB = cB ÷ nB, dan peningkatan relatif adalah (pB − pA) ÷ pA × 100. Uji ini menggabungkan kedua grup, p = (cA + cB) ÷ (nA + nB), menghitung galat baku SE = √(p(1−p)(1/nA + 1/nB)) dan skor-z z = (pB − pA) ÷ SE. P-value dua ekor adalah 2 × (1 − Φ(|z|)), di mana Φ adalah CDF normal yang dibangun dari aproksimasi fungsi galat (Abramowitz-Stegun 7.1.26); kepercayaan adalah (1 − p-value) × 100.
Gunakan setelah split test untuk memutuskan apakah varian B benar-benar mengalahkan A. Kartu putusan menandai hasil signifikan pada kepercayaan 95% atau lebih. Ingat bahwa signifikansi tidak sama dengan efek yang besar atau tahan lama — selalu pertimbangkan peningkatan dan ukuran sampel juga.
Pertanyaan yang sering diajukan
Uji apa yang digunakan ini?
Uji-z dua proporsi dua ekor dengan galat baku gabungan — metode standar untuk membandingkan dua tingkat konversi. P-value berasal dari distribusi normal melalui aproksimasi fungsi galat (rumus Abramowitz-Stegun 7.1.26), dan kepercayaan adalah 100% dikurangi p-value sebagai persentase.
Apa arti kepercayaan 95% di sini?
Artinya jika kedua varian benar-benar berkinerja sama, Anda hanya akan melihat perbedaan sebesar ini atau lebih besar sekitar 5% dari waktu secara kebetulan. Putusan berbunyi 'Signifikan' pada kepercayaan 95% atau lebih. Ini tidak memberi tahu ukuran efek — periksa peningkatan untuk itu.
Mengapa saya mendapat hasil tidak valid?
Konversi tidak boleh melebihi pengunjung, dan kedua jumlah pengunjung harus di atas nol. Uji ini juga membutuhkan sedikit varians: jika tak seorang pun berkonversi di kedua grup, atau semua berkonversi, galat bakunya nol dan tidak ada skor-z yang dapat dibentuk, sehingga alat ini melaporkan input sebagai tidak valid.
Apakah signifikansi cukup untuk menetapkan pemenang?
Tidak dengan sendirinya. Perbedaan kecil yang tidak penting bisa signifikan dengan sampel besar, sementara efek nyata bisa gagal signifikan dengan sampel kecil. Pertimbangkan peningkatan relatif, angka absolut, dan apakah uji berjalan cukup lama. Semua perhitungan di sini berjalan secara privat di browser Anda.
Alat lainnya