在线对照实验中，一个非常常见的困惑是你需要多少时间来对实验结果做出结论。
使用p值作为实验停止的标准，这是个简单的方法，但它的问题在于，给出p值的假设是你在设计实验时就已经考虑好了样本和效应量的大小。但如果你持续监测一个测试项目的进程和p值的变化，那么你就很有可能能够看到某种有显著性的“影响”——即使并不存在显著效应的时候。另一个常见的错误是，由于没有及时观察到有显著性的结果，而过早地停止了实验。
下面是Airbnb所进行的一个实际实验的例子。我们测试了将搜索页面上的价格过滤器(将金额范围从300改为1000美元)，显示效果如下：
在下面的图5中，展示了本项实验的进程。蓝色的曲线显示了改版效果(新版/旧版-1)，红色的曲线显示了随时间变化的p值。正如你所看到的那样，p值曲线在7天后达到了常用的显著标准0.05，这时新版的效应量为4%。如果我们就此打住，那么就会得出结论：改版对预订的可能性有强烈而显著的影响。但当我们持续进行实验后，我们发现实际上实验结果最终的表现是中性的。最终的效应量几乎为0，此时的p值表明，无论剩下的效应量是多大，都应该被视为统计噪音。
为什么我们知道在p值达到0.05时不要停止实验?事实证明，这种提前达到所谓的"显著性"，然后又收敛归于中性结果的情形，在我们的系统中其实是很常见的。
造成这种情况的原因有很多。比如，用户往往需要很长的时间来预订，所以测试早期快速完成的预约会对整个测试结果有着明显的影响。另外，在线上实验环境中，即使是小样本量，放在经典统计学中规模也可以称得上是相当巨大的，因而传统的p值统计方法可能并不完全适用这种超级大样本量的情形。由于统计检验是样本和效应量的函数，如果通过自然变异的早期效应量很大，那么早期的p值很可能低于0.05。但最重要的原因是，每次计算p值时，你都实际上仍在进行统计测试，每多测算p值一次，就会有较大的概率获得一个低于0.05的p值。
顺便提一下，熟悉Airbnb的人可能会注意到，在写这篇文章的时候，我们事实上已经上线了新版的价格过滤器。尽管如前文所说，A/B测试的结果是中性的，但我们发现，确实有一部分用户会希望有这样的筛选器能够更快找到高端房源，因此我们决定在不损害已有体验的情况下，仍然为有这样需求的用户提供此种更好的体验。
那么实验应该运行多长时间?为了防止统计学中的第二类错误(取伪)，最好的做法是在实验之前就确定改版所要达到的最低效果，并根据样本量(每日新增访问)和期望的显著值，来计算出实验需要运行的时间。evanmiller.org网站上提供了一个样本和实验时长计算器，可以模拟和计算一下。提前设定时长还可以最大限度地减少在没有效果的情况下却错误地“发现”效果的误判。
但这里还有一个问题是，我们通常很难确定新版应该要有多大的效果或者会有怎样的效果。由于A/B测试是先测试、再应用，因而这往往会导致，某次改版很可能是非常成功的，但由于测试时间过长，就影响了新版的及时上线，这会导致潜在利益的巨大损失。或者，A/B测试也可能会导致产品在使用方面的bug，因此发现这样的问题后应当立即停止测试，否则就会对用户体验造成更多的伤害。
在实验时，有时预先设定的时间结束之前，便会获得具有显著性的结果。在前文的价格过滤器例子中，你可以看到，当第一次达到预设的显著性水平时，效应量曲线(蓝色曲线)的走势看起来还没有完全收敛。有时候直觉思维会帮助我们做出判断，某个显著性结果是否达到了稳态呢?因此我们要在实验进程中不断检查，而不是机械地依靠单一的p值。
如果想在预设时间之前停止实验，我们可以利用这一洞察来更正式地确定何时停止实验。如果你确实希望对正在测试的更改是否表现得特别好进行自动判断，这将非常有用，尤其是当你同时运行多个实验而无法系统地手动检查实验的进程时，这也非常有帮助。这种所谓的直觉思维通常要以怀疑的眼光来看待早期的测试结果。这就意味着，在测试的早期，可以采用较低的p值来判断测试结果的显著性，当随着实验的进行，积累了更多的测试数据，便可以随之接受更高的p值了，因为这时候犯二类错误的概率要低得多。
Airbnb通过模拟测试获得动态的p值曲线，来判断一个早期的显著性结果是否真的值得信任，从而解决了如何确定停止实验的p值取值问题。我们编写了一个程序，通过引入不同的变量，来模拟不同的效应量和置信度结果，并以此来判断改版对于转化效果是否真的存在显著影响。在图6中，我们展示了某个测试模拟中得到的决策边界：
这里要提请注意的是，这条曲线是基于某些特定变量而生成的曲线，未必适用其它的实验场景和实际情况。
来源：SMEI官方
以上是关于用户增长师的相关信息，以供大家查看了解。想要了解更多用户增长师信息，第一时间了解用户增长师相关资讯，敬请关注唯学网用户增长师栏目，如有任何疑问也可在线留言，小编会为您在第一时间解答!
