日前,我们用户研究团队针对bidding X的官网首页进行了一次小小的改版,把原本两个主要按钮换成了一个,结果让人有点惊喜,这个小小的修改居然带来了点击率25%的提升。(关于这次实验的一点心得分享《DSP探花BiddingX团队如何利用数据改造生产力
作为一个严谨科学的团队,在正式的改版之前,我们觉得有必要再进行一次重复实验来确保一下实验的信度。可能有些朋友会觉得我都已经跑了一次样本量充足的实验了,为什么还要进行重复实验呢?但实际上单个实验可能受到很多因素的影响,包括时间、营销手段、随便变量等等,君不见,各家大牛公司的灰度测试(其实也是一种AB测试)的时间都很长吗?所以有条件的话最好还是进行一个重复实验会更保险


为了进一步保证这次实验的有效性,也考虑到可能之前一些访客已经登陆过我们的网站,这样可能会为他们带来一些不便,对于实验也有一些污染。所以这次我们特地使用了一个AB tester中一个相当强大的功能——URL定向,并把URL定向的访客属性条件定义为“新访客”。2

这里可以给大家科普一下:URL定向其实就是一种用户筛选机制,通过自定义设置一些条件来筛选进入实验的用户。对于一些商业网站而言,经常需要监控某个搜索引擎流量的质量,也可能需要针对新老用户的不同推广效果进行一些比较和分析。而在他们进行相关页面的AB测试时,自然也需要对参加实验的用户进行一些筛选。此外使用URL定向也能同时把几个不同页面的访客同时加入实验。

实验终于开始了,第一天的结果并不如理想,我们最担心的事情还是发生了,似乎和之前的实验出入比较大。难道AB测试的信度这么低吗?但考虑到实验的转化数据比较少,可能一两个用户的个别行为就能影响到数据的结果,我们还是耐心的等待一下吧3

在焦躁不安中终于来到了第二天,今天情况有点好转了,但似乎实验数据和之前还是有比较大的出入,尤其是原始版本的转化率和之前相比有点虚高。我们还是在等待一下吧。一般转化人数起码要达到几十才能保证个别用户行为对数据不会造成太大的波动。笑脸啊笑脸,赶紧来吧。4

终于,实验到了第五天,我们看到了最新的实验结果终于松了一口气,当实验数据越来越多,实验的结果越来越向第一次的实验结果靠拢,置信度也达到了99.8%!统计学中的大数定理果然还是靠谱的!所以这里还是得提醒一下大家样本量和转化数量的重要性,他们可能会对实验结果的解释造成比较大的偏差。(关于如何判别实验结果是否运行到可信呢?可以查看我们的另外一篇文章《测试人数/转化人数/置信度助你判断AB测试可信程度》)5
这次实验,除了再次验证了单按钮的确比两个按钮转化率更高一点之外,我们还通过多版本测试发现了一个比原本按钮样式更好的新样式,不过这就是属于另外一种实验思路的范畴了,让我们整理一下数据和思路,稍后将会和大家分享一下多版本实验的做法和它的作用哦~

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Post Navigation