AB测试是一种能有效优化网站用户体验,提高转化率的好方法,但这种方法仍然存在一些缺陷。往往在我们进行AB测试的时候,都需要较多的用户数量来支撑,所以也让很多朋友形成了一种错误的想法:流量低的网站是没法进行AB测试的。

诚然,网站的流量会对AB测试的效率造成较大的影响,但事实上网站流量较低的时候也有办法做出具有统计意义的AB测试。

以下大家介绍几张比较常见的优化方法:

1.把实验版本和控制版本的差异扩大

在我们进行实验设计的地方,我们可以把实验版本和控制版本的差异扩大,尽量让我们的用户能留意到这些地方。同时版本间差异的扩大也有助于扩大转化率之间的差异。根据统计学的样本公式计算,在同样的统计效力和显著性条件下,当转化率的差异越大,所需要的样本量就越少。
举个实际例子:
假设现在有这样一个实验:原本转化率为10%,测试版本转化率差异为10%(既测试版本转化率为9%或11%),要求实验具有80%的统计效力以及95%的显著性,在这样的条件下,需要28626名用户才能让这个实验达到统计学上的显著。但当测试版本转化率差异为30%(既实验版本转化率为7%或13%)的时候,仅需3258名用户就能让实验达到统计学上的显著。

2降低统计效力和显著性的标准

从统计学上说,降低统计效力和显著性的标准都可以有效减少实验所需要的样本量。可能有很多朋友会担心这样出来的结果是否准确。事实上,严格的统计标准往往是针对学术研究而言的,对于大多数商业性的研究,适当的把标准放松是正常的。我们建议可以把显著性标准设置为80%,统计效力设置70%。
举个实际例子:
假设在实验当中,原版本转化率为10%,控制版本转化差异为20%(既转化率8或12%),在95%显著性,80%统计效力的要求下需要7246名用户,而在80%显著性,70%统计效力的要求下,仅需4322名用户即可。

3.避免同时测试多个版本和元素

在我们测试的时候,我们往往希望能测试更多的版本(更多的版本意味着越可能找到更优的版本),也喜欢在一个页面当中同时修改很多的元素。但随着版本的增加,实验所需的样本量同样会增加,因为在一定统计条件下,就单个版本而言,所需要的样本是恒定的。实验的版本应该根据网站的流量调整。同时在一个页面中修改多个元素,也会削弱统计解释的说服力。

4.测试多个页面中的共同元素

在进行实验设计的时候,我们可以针对那些同时存在于多个页面的元素进行测试,比较常见的例如导航栏,购物车按钮,登录按钮,注册按钮。然后我们通过对实验进行URL匹配,把所有拥有这些元素的相关页面都加入实验。但在采用这种方法的时候应该注意:加入实验的页面间需有较强的一致性,例如A商品的详情页和B商品的详情页等,而不能把商品详情页页面和首页放在一起。

最好我们建议大家,除非网站的流量非常高,否则的话AB测试最好能持续2周左右的时间,这样才能平衡时间因素所带来的变异。同时这段时间也能让较低流量的网站积累到足够的用户数参与到实验当中。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Post Navigation