如何通过 AB Testing 提升产品数据?

零基础学产品,BAT产品总监带,2天线下集训+1年在线课程,全面掌握优秀产品经理必备技能。了解详情

A/B 测试,简单来说,就是为同一个目标制定两个方案(比如两个页面),让一部分用户使用 A 方案,另一部分用户使用 B 方案,记录下用户的使用情况,看哪个方案更符合设计。那我们要如何通过 AB Testing 提升产品数据?

产品或者设计师在做设计方案时,会有一套方法论来制作多个方案,经过评审之后一般都会得出一个平衡了用户体验和业务目标的方案。但往往也存在一种情况:A方案和B方案各有优劣,实在无法主观判断两个方案上线之后数据如何。

如果AB方案的实现成本不是很高,就可以使用AB Testing来解决。依据上线之后的数据表现,最终上线数据更好的方案。

1. 原理

数理统计学中有一个概念叫“假设检验(Hypothesis Testing)”,其基本的原理是对整体特征做出某种假设,然后通过抽样研究的统计推理,对此假设应该被拒绝还是接受作出推断。

在假设检验中,存在原假设和备择假设,以下图为例:

改变按钮样式的AB Testing

原假设指改变按钮样式会带来转化率的提升,备择假设是改变按钮样式不会带来转化率的提升。

原假设和备择假设有且只能有一个为真。

2. 背景

Google是最早将AB Testing应用到互联网产品的公司,谷歌工程师在2000年进行了他们的第一次AB测试,试图确定在搜索引擎结果页面上显示的最佳结果数量。后来AB测试不断发展,但基础和基本原则通常保持不变,2011年,谷歌首次测试后11年,谷歌进行了7,000多次不同的AB测试。

目前像Facebook、LinkedIn等公司都有专门的增长团队来做AB Testing的实验(增长团队的核心就是不断的进行AB Testing来提升产品数据),并且团队负责人直接向CEO汇报,最近两年国内不少公司也越来越重视数据增长。

3. AB Testing越来越被重视的原因

为什么数据增长会在互联网行业兴起,我认为有两点原因:

  • 一是互联网产品的表现形式趋于成熟,目前市场上主流的智能手机操作系统只有iOS和Android,它们在交互和视觉层面越来越规范和统一;
  • 二是互联网产品设计的方法论逐渐成熟,互联网公司产品设计流程的分工已经很细,产品经理、交互设计师、视觉设计师,而且每个岗位都有成熟的方法论。

由于这两点原因,导致大家做出来的东西在用户体验层面已经拉不开很大的差距,这时候如何在同质化产品中脱颖而出变得更加困难,其中通过科学的方法,采用认知心理学和统计学相关知识的AB Testing展现了它的威力,并为互联网产品的数据增长带来了新的动力。

4. 具体方法论:如何做实验?

①提出想法,设定假设

得出假设的方法有很多,包括福格模型、头脑风暴、经验总结、行业借鉴、公司不同部门人员提出建议、用户调研、数据分析。方法有很多,以后我们会详细介绍。

②预估成本/设定优先级

有些实验方案不仅涉及设计和开发成本,还需要额外的资金成本,像增加现金或优惠券奖励来提升转化率的实验,这个时候需要对该类实验经济成本预估,并且结合ICE模型来设定优先级,决定哪个实验先做,哪个实验后做。

ICE模型是指:Impact Level 重要度;Confidence 自信度; Ease 容易度。每项满分为十分,ICE总分为三项的平均分,ICE分值越高,对应的优先级也越高。

③设计方案

决定了哪些实验先做,哪些后做,接下来就要开始进入方案的设计阶段了,有些简单的实验可能不需要经过设计阶段,可以直接开发上线。主要跟交互设计师,根据第一步提出的假设,提出多种方案,最后选择一到两个方案进行AB testing。

著名的资讯公司Upworthy会对每篇即将上线的文章讨论出25个标题,最终选择2个标题进行A B testing。

④确定实验人数和周期

关于计算实验人数和周期,有很多工具网站可以使用,例如:Evanmiller网站。打开这个网站,你会发现有四个字段需要输入:

  • 一个是Baseline conversion rate,指原有的转化率;
  • 二是Minimum Detectable Effect,指预计会提升的百分比,另外两个是β和α值,你只要记住设定这两个值是为了保证实验结果的准确性。一般β值会设定在5%/10%,α值会取1%~10%之间。

⑤安排开发与测试

这个大家太熟悉了,就不多说。

⑥分析实验结果

在分析实验结果的时候要特别注意两点:

  • 一要排除其他因素导致的数据变动,例如你的产品是受季节影响的话,实验得出的数据要扣除季节对数据产生的影响;
  • 二是确保关联数据也有相应增长,例如你的实验是要提升活动详情页到支付页的转化率,实验结果显示,转化率从之前的5%提升到了6%,这相当于增长了20%。但是别高兴太早,你要看看这增加的20%的用户,有没有成功进入下一步,也就是支付成功,很有可能本次实验只是把用户从活动详情页吸引到了支付页,但是吸引来的用户并没有去真正下单。

⑦扩大实验或失败

分析完实验结果后,如果判定实验成功,接下来就扩大实验范围,把本次改进覆盖所有用户;如果实验失败,也不要灰心,毕竟AB Testing的成功率并不是很高,大胆的接受实验失败,并开始下一个实验吧。

5. 注意事项

  1. 确保实验的变量唯一;
  2. 确保试验周期不能过长,一般控制在2到3周,最好不要超过一个月;
  3. 确保α和β值在合理的区间内,保证实验的准确性;
  4. 分析实验结果时,记得排除其他因素在实验中的影响。

#专栏作家#

邹志楠,微信公众号:邹志楠,人人都是产品经理专栏作家。用户体验设计师,专注于互联网产品设计。

本文原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自Unsplash,基于CC0协议

赞赏是对原创者的最大认可
4人打赏
评论
欢迎留言交流