Bu araç hakkında
A/B Testi Anlamlılık Hesaplayıcı, iki dönüşüm oranı arasındaki farkın istatistiksel olarak anlamlı mı yoksa yalnızca gürültü mü olduğunu söyleyen ücretsiz, tarayıcı içi bir araçtır. Her varyantın ziyaretçilerini ve dönüşümlerini girin; araç iki oranlı bir z-testini yerel olarak çalıştırır — hiçbir veri tarayıcınızdan ayrılmaz.
Dönüşüm oranları pA = cA ÷ nA ve pB = cB ÷ nB'dir ve göreli artış (pB − pA) ÷ pA × 100'dür. Test iki grubu birleştirir, p = (cA + cB) ÷ (nA + nB), standart hatayı SE = √(p(1−p)(1/nA + 1/nB)) ve z-skorunu z = (pB − pA) ÷ SE hesaplar. İki yönlü p-değeri 2 × (1 − Φ(|z|))'dir; burada Φ, bir hata-fonksiyonu yaklaşımından (Abramowitz-Stegun 7.1.26) oluşturulan normal CDF'dir; güven (1 − p-değeri) × 100'dür.
Bir bölünmüş testten sonra B varyantının A'yı gerçekten geçip geçmediğine karar vermek için kullanın. Değerlendirme kutucuğu %95 güven veya üzerindeki bir sonucu anlamlı olarak işaretler. Anlamlılığın büyük veya kalıcı bir etkiyle aynı şey olmadığını unutmayın — her zaman artışı ve örneklem boyutunu da tartın.
Sık sorulan sorular
Bu hangi testi kullanır?
Birleştirilmiş standart hatayla iki yönlü iki oranlı z-testi — iki dönüşüm oranını karşılaştırmak için standart yöntem. P-değeri, bir hata-fonksiyonu yaklaşımı (Abramowitz-Stegun formülü 7.1.26) aracılığıyla normal dağılımdan gelir ve güven, %100 eksi yüzde olarak p-değeridir.
Burada %95 güven ne anlama geliyor?
İki varyant gerçekten aynı performansı gösterseydi, bu kadar büyük veya daha büyük bir farkı şans eseri yalnızca yaklaşık %5 oranında görürdünüz demektir. Değerlendirme %95 güven veya üzerinde 'Anlamlı' okur. Etkinin boyutunu söylemez — bunun için artışı kontrol edin.
Neden geçersiz bir sonuç alıyorum?
Dönüşümler ziyaretçileri aşamaz ve her iki ziyaretçi sayısı da sıfırdan büyük olmalıdır. Test ayrıca bir miktar varyans gerektirir: her iki grupta da kimse dönüşmediyse ya da herkes dönüştüyse, standart hata sıfırdır ve z-skoru oluşturulamaz, bu yüzden araç girdiyi geçersiz olarak raporlar.
Bir kazananı belirlemek için anlamlılık yeterli mi?
Tek başına değil. Küçük, önemsiz bir fark devasa bir örneklemle anlamlı olabilirken, gerçek bir etki küçük bir örneklemle anlamlılığı kaçırabilir. Göreli artışı, mutlak sayıları ve testin yeterince uzun sürüp sürmediğini göz önünde bulundurun. Buradaki tüm matematik tarayıcınızda gizlice çalışır.
Daha fazla araç