关于此工具
A/B 测试显著性计算器是一款免费的浏览器内工具，告诉你两个转化率之间的差异究竟具有统计显著性，还是只是噪声。输入每个版本的访客数与转化数，它就会在本地运行一次双比例 z 检验——没有数据离开你的浏览器。
转化率为 pA = cA ÷ nA 与 pB = cB ÷ nB，相对提升为 (pB − pA) ÷ pA × 100。检验将两组合并，p = (cA + cB) ÷ (nA + nB)，计算标准误 SE = √(p(1−p)(1/nA + 1/nB)) 与 z 值 z = (pB − pA) ÷ SE。双尾 p 值为 2 × (1 − Φ(|z|))，其中 Φ 是由误差函数近似（Abramowitz-Stegun 7.1.26）构建的正态分布 CDF；置信度为 (1 − p值) × 100。
在一次分流测试后用它来判定版本 B 是否真的胜过 A。判定图块会将在 95% 置信度或更高下的结果标记为显著。请记住，显著性不等同于一个巨大或持久的效应——务必同时权衡提升幅度与样本量。
常见问题
这使用什么检验？
一个采用合并标准误的双尾双比例 z 检验——比较两个转化率的标准方法。p 值经由误差函数近似（Abramowitz-Stegun 公式 7.1.26）从正态分布得出，置信度为 100% 减去以百分比表示的 p 值。
这里的 95% 置信度是什么意思？
它意味着如果两个版本真的表现相同，你偶然看到这么大或更大差异的机会大约只有 5%。判定在 95% 置信度或更高时显示为「显著」。它并不告诉你效应的大小——那要看提升幅度。
为什么我得到无效结果？
转化数不能超过访客数，且两个访客计数都必须大于零。检验还需要一些方差：若两组中无人转化，或全部都转化，标准误为零，无法形成 z 值，工具便会报告输入无效。
显著就足以宣布赢家吗？
单凭它并不足够。一个微小、不重要的差异在巨大样本下也可能显著，而一个真实的效应在小样本下也可能达不到显著。要考虑相对提升、绝对数字，以及测试是否运行得足够久。此处所有运算都在你的浏览器内私密进行。