A/B 测试样本量与时长指南

A/B 测试听起来像是猜测的终结：一半访客看版本 A，一半看版本 B，让数字来决定。在繁忙的商店里，这行得通。而在每月只有几千访客的网站上，数字往往什么也决定不了，在第一个令人兴奋的结果出现时就停止的测试，给出的只是一个自信满满、实则是噪声的答案。开始之前，值得先弄清楚哪些因素决定 A/B 测试样本量、测试究竟需要多长时间，以及流量不足以支撑测试时该怎么办。

哪些因素决定 A/B 测试样本量

四个输入决定测试需要多少访客：

• 基线转化率。行为越罕见，要看到它的变化所需的访客就越多。以“加入购物车”为指标的测试，所需访客比以完成购买为指标的测试少。
• 最小可检测效应。您在意检测到的最小改善幅度。这个输入最重要：把最小可检测效应减半，所需样本大约要增加到四倍。
• 显著性水平。您愿意被偶然性欺骗的程度。常见的惯例是 5% 的假阳性率。
• 统计功效。测试发现所选大小的真实效应的可能性；惯例通常是 80%。

在构建任何东西之前，先把您自己的数字输入样本量计算器。如果得出的访客数多于该页面两个月所能接待的数量，这个测试以这种形式就不值得运行。最终起作用的是每个版本的转化数，而不是访客数：有几千名访客、但每个版本只有寥寥几笔购买的测试，几乎说明不了什么。

A/B 测试要运行多久

运行到达到计划样本量为止，并且始终以整周为单位。周一早晨的访客与周六晚上的行为不同，所以从周二运行到周五的测试，只衡量了您受众的一部分。即使在繁忙的网站上，一到两个完整的业务周期也是合理的下限。特别长的测试也有自己的问题：人们会清除 Cookie 而被重复计数，季节变化或新的营销活动会改变访客的构成。

提前规划好结束日期并坚持下去。因为仪表板显示出一个赢家就提前停止测试，是得到错误结果最常见的方式：如果您每天查看，并在结果第一次看起来显著时就停止，那么假阳性的真实概率会远高于您设定的水平。一些测试工具使用专为反复查看而设计的序贯方法；如果您的工具没有，就先确定样本量，只在最后读取一次结论。

统计显著性意味着什么，不意味着什么

统计显著性说的是：如果两个版本的表现真的一样，那么像观察到的这么大的差异就很少会因偶然出现。它并不告诉您版本 B 更好的可能性有多大，也不说明这个差异是否大到对业务有意义。请把它与效应的大小及其置信区间一起解读。

检查样本比例失配

如果流量本应平均分配，而某个版本收到的访客明显多于另一个，那就是哪里出了问题：在某些浏览器中失效的重定向、访问某个网址的机器人、只在一个变体中触发的跟踪。这种样本比例失配会使结果无效，无论它看起来多么漂亮。许多测试工具会标记出来；否则，可以用简单的卡方检验比较访客数。

A/B 测试与 SEO

Google 关于尽量减少网站测试对搜索的影响的指南，归结起来有几条规则。不要向 Googlebot 展示与访客不同的版本，这属于伪装（cloaking）。如果某个变体位于单独的网址，请让它的 canonical 标签指向原始页面。当测试把访客重定向时，使用临时的 302 重定向，而不是永久的 301。得到答案后就结束测试，然后更新原始页面。按这种方式操作，A/B 测试与 SEO 可以相安无事。

Google Optimize 之后的工具

Google Optimize 已于 2023 年 9 月 30 日关停，许多小型网站此后就没有再做过测试。Google Optimize 的替代工具分为三类：VWO 或 Optimizely 这样的专用测试平台，带有可视化编辑器和内置统计；开发团队使用的功能开关和实验服务，在代码中切换变体；以及一些电子商务和落地页平台内置的测试功能。无论选择哪种，请检查三件事：脚本是否会让页面闪烁或变慢，是否遵守您的 Cookie 同意设置，以及是否把结果发送到 GA4，以便与您的订单核对。

低流量网站可以怎么做

对于低流量网站，正式测试往往是得到答案最慢的途径。更好的选择：

• 测试更大的改动。新的优惠、更短的表单或不同的页面结构，产生的效应比按钮颜色更大，而更大的效应所需的样本要小得多。
• 观察真实会话。热力图和录屏显示人们在哪里犹豫，与真实客户进行少量有主持的会话，往往就能揭示主要问题。
• 询问您的销售人员。人们打电话或发邮件询问的问题，通常就是页面没有回答的问题。
• 谨慎比较不同时期。一次只改一处，并比较相同长度的时期，同时记下营销活动、假期以及其他任何变化。

无论采用哪种方法，每次改动都从一份书面的测试假设开始：“因为我们在数据中看到了这一点，所以我们相信，为这些访客改变这一处会产生这个结果，我们将用这个指标来衡量。”它能避免随意的改版，并让每一个结果，无论成败，都成为您学习的机会。我们的转化率优化服务在小型网站上也是同样的做法：流量不足以进行可靠测试时，我们一次只做一处经过充分研究的改动，并比较不同时期。

常见问题：A/B 测试样本量

我可以同时运行多个 A/B 测试吗？

在不同的页面或漏斗的不同步骤上，通常可以。同一页面或同一受众上的两个测试可能相互干扰，所以要么让它们互斥，要么把它们合并成一个多变量测试。

应该分别测试手机端和桌面端吗？

两个细分群体都要看，但要在测试开始之前决定要分析哪些细分群体。事后不断切分结果，直到某个细分群体“获胜”，是另一种找到噪声的方式。

如果测试显示没有差异怎么办？

这也是一个结果。它告诉您，这项改动即使有帮助，帮助也小于您的最小可检测效应。保留更容易维护的那个版本，下一次测试更大胆的改动。

不确定您的流量是否支持测试？我们的转化率优化与 A/B 测试服务从漏斗数据和热力图入手，只在数字能够支撑的地方才建议做正式测试。它在准确的 GA4 跟踪之上效果最佳。请发给我们您的网站地址和大致的月流量，我们可以看看从哪里开始。