Vanity 统计学入门一文看懂 Z-score、置信度与转化率差异【免费下载链接】vanityExperiment Driven Development for Ruby项目地址: https://gitcode.com/gh_mirrors/va/vanity做 A/B 测试时你是不是也遇到过这种情况B 方案转化率明明比 A 高 10%却不敢拍板上线或者报告上写着90% 概率统计显著却说不清它到底意味着什么这篇文章带你以 Vanity——这个面向 Ruby on Rails 的实验驱动开发框架——为例子把 A/B 测试统计学入门必懂的Z-score、置信度与转化率差异一次讲透从此看懂每一份实验报告。为什么不能只看转化率Vanity 报告的核心是每个选项的转化率conversion rate它等于转化人数 ÷ 参与者人数实现见 alternative.rb 中的conversion_rate方法。但转化率高 ≠ 一定赢。原因很简单样本太小。假设 A 方案 3 个人里 2 人转化66.7%B 方案 300 人里 150 人转化50%A 的转化率看着高出一大截可 3 个样本毫无统计意义纯属随机波动。所以 Vanity 把转化率差异和统计学显著性分开呈现让你别被表面数字骗了。转化率差异是如何计算的在 Vanity 报告中每个选项除了转化率还会显示一个比最差选项高出 X%的差值。它计算的是相对提升幅度而不是绝对差值用当前选项的转化率减去表现最差的选项转化率再除以最差选项的转化率乘以 100得到百分比。这段逻辑在 ab_test.rb 的score方法里。打个比方A 转化率 80%B 转化率 50%那么 A 比 B 高出的就是 (80-50)/50 60%而不是 30%。这样看提升幅度更直观也方便评估投入产出。一文看懂 Z-score 公式Z-scorez 值是衡量两个转化率的差异有多大可能是真实的的核心指标。Vanity 的做法是先把所有选项按转化率排序以**第二名基准选项**为参照给每个选项算一个 z 值。公式在 ab_test.rbz (p - pc) / √( p(1-p)/n pc(1-pc)/nc )其中 p 是当前选项转化率、n 是它的参与者数pc、nc 是基准选项的对应值。分子是转化率差分母是标准差。z 值越大说明差异越不可能是运气。Vanity 默认的评分方法就是 z_score见 ab_test.rb 的DEFAULT_SCORE_METHOD。置信度90%、95%、99%、99.9% 意味着什么算出 z 值后Vanity 会把它映射成置信度百分比。项目内置了一张z 值→概率对照表只关心四档90%、95%、99%、99.9%映射逻辑在 ab_test.rb 和 ab_test.rb。90% 概率统计显著的正确解读是如果这个实验重复做 10 次大约有 9 次会得到B 确实比 A 好的结论只有 1 次是随机假象。它不代表B 比 A 好 90%也不代表90% 的转化率差异都算数很多新手恰恰栽在这两个误解上。报告模板 _ab_test.erb 会把结论以自然语言呈现对应文案在 vanity.en.yml 里例如 With 90% probability this result is statistically significant。如何在 Vanity 报告中判断谁赢了Vanity 的score方法ab_test.rb会返回结构化的评分结果alts带 z 值、概率、差异的选项列表best转化率最高的选项base第二名基准least表现最差但有转化的选项choice最终推荐选项关键规则是只有当最佳选项的置信度 ≥ 阈值默认 90%时才会给出 choice获胜选项。达不到 90%报告就会提示 This result is not statistically significant, suggest you continue this experiment告诉你继续跑。这也解释了为什么有时候转化率领先却没有赢家——置信度不够说明样本量不足。进阶贝叶斯多臂老虎机评分如果你不想手动设定阈值可以把评分方法切换为贝叶斯方法在实验定义里加一行score_method :bayes_bandit_score。它基于贝塔分布Beta Distribution计算每个选项是全局最佳的概率代码在 bayesian_bandit_score.rb。这种方法还支持多臂老虎机multi-armed bandit自动调权把更多流量导向表现好的选项适合追求整体转化率最大化的场景。新手常见误区与建议样本量决定一切转化率差异再大样本太少都是噪音。多跑几天、攒够样本再下结论。置信度是行动门槛建议先定好目标如 95%达到再上线避免看到领先就冲的冲动。别用绝对差值看提升用 Vanity 报告的百分比相对差异评估投入产出更合理。善用报告结论文案通过conclusion方法ab_test.rb可以自动生成最佳选择是 X转化率 Y%比第二名高 Z%让团队所有人都能看懂实验结果。A/B 测试统计学并不难抓住转化率差异看幅度、Z-score 看差距、置信度看把握这三条主线你就能像老手一样从容地让每一次实验都变成可落地的决策依据。【免费下载链接】vanityExperiment Driven Development for Ruby项目地址: https://gitcode.com/gh_mirrors/va/vanity创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
