大获成功的AB测试结果是像彩票中奖者,人们和媒体都争相追逐它们,而数以百万计的失败者从不提及。

  当然AB测试不像玩彩票一般讲求运气,AB测试可以通过学习,例如通过网上的视频资源和文章。但这些资源和文章往往都是根据成功的测试和变化写出的,而很少提及没有结果甚至失败的情况,但实际上这些都是A/B测试的重要组成部分。

  这很容易导致印象偏差,大多数人对AB测试的因素完全基于特殊的成功者,而不是从整个AB测试的全貌。这种虚高的期望明显是有害的,你的公司,或者你对AB测试抱有甚大的期望,但出来的结果却和理想中的差距太大。越来越气馁,最终早早放弃了AB测试。同时这种无视中性和负性测试的想法,也让我们错过了从这些结果中学习的机会。

  AB测试是一场马拉松,而不是短跑。它是一种能有效提高转化率且成本低廉的强大方法,但任何改进的发生都建立于大量的,不断的测试当中,希望每次测试就能得到很好结果无疑是相当可笑的。即使是有经验的优化师,也无法完全准确预测,不过没关系,因为中性和负面的结果其实一样能带来积极的影响。

  巨大的成功,比如100%转化率的提升,这当然值得欣喜,但事实上就算只有10%的提升,可能已经能带来几万甚至数十万的收入。一个AB测试在不同的公司中并不总是能重复结果,所以不要盲目地从成功案例期待类似的结果能够重复,甚至直接把别人测试的结果拿过来用。应该试图去理解为什么他能成功,把成功的要素抽取出来,同理,对于失败的实验,应该去深入剖析失败的原因,然后从中得出优化的新方向。

  在中性或者负面的测试结果中,我们仍然可以得到巨大的价值,如果期望设置适当,中性或负性试验不应被看作是一个失败或缺陷。事实上,他们可以是最终帮助你成功优化的重要信息来源。重新回想一下最初优化的假设,思考一下为什么会出现中性结果?是改动不足以产生足够的效果?你可能需要更多的创意或增加测试人数。

  用研方法的体系相当庞大,除了之前介绍过的AB Test和可用性研究之外,Persona用户画像也是一种非常常见的方法。Persona:(Persona是用户模型的的简称)是虚构出的一个用户用来代表一个用户群。一个persona可以比任何一个真实的个体都更有代表性。一个代表典型用户的persona的资料有性别、年纪、收入、地域、情感、所有浏览过的URL、以及这些URL包含的内容、关键词等等。一个产品通常会设计3~6个用户模型代表所有的用户群体。那么一般构建用户模型的方法又有那些呢?
Read More →