起点学院课程

3年产品,教你如何用好AB Test

14 评论 9640 浏览 22 收藏 11 分钟
15天0基础极速入门数据分析,掌握一套数据分析流程和方法,学完就能写一份数据报告!了解一下>>

本文作者分享了自己从事产品经理三年以来做AB Test的相关经验。在自我总结的同时,期待可以提高自己。

入行三年,回顾自己做过的四五十个AB Test,有成功也有失败,有疑惑也有感叹。刚开始接触AB Test理论的时候,心想这真的是产品的一剂灵丹妙药啊,就像互联网有一句话,“当产品想不清楚的时候,就做AB吧!”,但它真的有这么灵吗?它真的能拯救你的产品于水火吗?让我们一起揭开AB Test的靓丽面纱。

一、当我们说起AB Test,我们在说什么

AB Test实际上是一种假设性验证,是一种很科学的方法论。通过设置只有一个变量的实验,在两组特征均分的用户群中放置一段时间,最终分析由这个变量带来的数据浮动。

与其互相撕逼,不如让数据说话。

举个例子:审美是一件非常复杂的事情,2017年,团队的设计师们曾经用AB Test的逻辑不断测试,寻找到了点击率更优的Banner样式,把审美这件事进行量化。一方面,这次的AB确实让我们在能想到的几种设计样式中找寻到了最优解,减少设计师和运营平时的相互扯皮,提升团队效率;但另一方面,也给大家带来了新的思考,市场会变,审美会变,现在的最优解在未来真的适用吗?

我们现在AB到的所有方案,包含了所有可能的形式吗?会有更好的形式吗?仿佛小熊摘玉米,可能你能看到的,就是某个空间某个时间内的最大的玉米,而后面更大的玉米,隐藏在你的下一次判断中。真的要不断依赖AB去寻找这个最大的玉米吗?

实际上,AB Test解决是的决策的准确性和成本之间的平衡问题。决策的准确性是指你能否有看到周围更大的玉米的能力。这决定着,投入产出比的天花板。判断的成本是指这个相互PK寻找更大的玉米的过程是有成本的,无论是产品设计、开发、数据分析、沟通成本,还有最重要的时间成本,都会让整个战线拉的非常长。如果产品每次都可以以较为准确的眼光迅速发现周围比较大的玉米,那么实际上是不需要AB Test提供这个PK的过程的。而判断的准确性。仍然是决定这场战争的核心。

二、AB Test的常见误区

1. 想不清楚就做AB?你只是把困境后移了

刚刚接触AB的时候,大家会觉得这是一剂救命稻草。因为是拍照类的APP,拍照效果就是我们的核心,有时候作出两种效果的方向,但产品和效果设计师暂时想不清楚,哪一种效果用户会更喜欢呢?于是把一堆自拍效果同时上线AB。

我做过最多的一次AB,是有56个实验组,把各种效果参数拆开排列组合,完全以数据结论为导向来设置实验。最后上线之后,数据有好有坏,用户反馈也一大堆,然后再根据数据和用户反馈去拆解,为什么实验组A好,为什么实验组B不好;为什么年龄大一点大用户会吐槽效果1,年龄小一点大用户会吐槽效果2。

这就是想不清楚实验目的的AB最终会带来的困境。所以说,还是要基于产品核心能力和市场,有最起码的判断和假设。再去用AB去验证这个假设。

2. 指标找错,一切全费

每个产品都有自己的北极星指标。所谓北极星指标,就是一旦这个指标变动,产品的战略目标指标也会产生强因果关系的变动。在寻找北极星指标的过程中,我们探索过很多次,最终把核心业务的保存数定为北极星指标,在实行了一年的周期之后,还是发现这个指标找错了。因为后面我们发现当保存数疯涨的时候,战略目标DAU或者收入并没有因此而增长。这意味着,之前所有AB Test的结论都站不住脚,换句话说,做了一年的“无效AB”,浪费了无法去估计的资源成本。所以可见,指标的寻找是多么重要。

3. AB的结果是好的,一全量并没有什么卵用?

我们之前做过的很多AB Test都有这个问题,做了很多比较正向且可信的测试,但全量之后,仿佛一粒沙子融入了大海,大盘并没有什么波动。分析起来,本质上是一种增长乏力的表现。这种乏力分为两种情况:

  • 每次AB带来的变动很小,最终反应在结果上数据的波动非常小,即使正向,因为其能带来的改变天花板非常低。
  • 做撬动市场的新功能,但最终没能打成战略目标的提升。

这时候,市场在提醒你,也许应该换一种思路来做产品。

4. 一定要做的改变,需要做AB吗?

业界,我见过上新一个功能,就必须做AB Test的产品。如果数据不好,这个功能整个都不上线。其实我个人是不太建议这样的方法。对于那些战略新功能,做好前期的市场调研、需求挖掘更重要。甚至有了功能之后不上线,利用可行性测试让目标用户试用,不断优化并最终上线。

一定要做的改变也不限于想要撬动市场的新功能,还可能是接下来的战略目标部署等。想清楚之后,如果这些是一定要做的,那么不要让AB阻挡你改变的脚步。

三、如何真正用好AB Test

1. 忘记它,以不做AB Test为己任

任据App Sumo评估,只有25%的AB测试产生了有意义的结果。而一次完整的AB测试周期可能就需要几周的时间。有人经常问我:AB能来带增长吗?答案是,并不能。它只是产品的一种辅助工具,并且要谨慎试用。一个依赖AB Test的产品,并不真正理解它的用户,它的产品和它的方向。有的时候,AB一时的数据虽然是负向的,但如果产品能判断这一步的修改对未来战略目标的意义,数据也就变得不那么重要了。

每次我们产品内部在讨论需求的时候,有人在提AB,我都会询问(1)AB的目的是什么?(2)你觉得哪个方案会更好?(3)你是否做过市场分析和用户调研?这三个问题能够有效帮产品梳理需求的意义。如果仅仅以“我拿不准哪个方案会更好”来进行AB,那么最终你的团队会陷入无限AB无限浪费资源的死循环。所以警惕你的团队始终在用AB的思路前进,要让每个产品都培养“以不做AB Test”为己任的意识。

2. 寻找属于你的业务的AB Test规律

不同类型的AB Test是有不同的策略的。针对我们做过的所有AB Test,我做了这个一个梳理:首先按照有没有创造新价值,可以把AB分为增长类和核心类。

  • 增长类的AB分为两类,首先是视觉类的:一般是改一个icon的颜色、改一个UI的排布样式。另一类是路径类:减少或者改变用户的路径。这一类的增长天花板比较低,不需要给它过高的预期,但往往投入产出比很高。如果项目组有余力,可以简单快速AB。
  • 核心类的AB也分为两类。一类是对已经上线的新功能进行修改/优化。这一类的AB经常会影响到老用户的使用体验,特别是对于产品的核心功能,一定要慎重修改。比如微信的聊天主界面,从一开始上线到现在,也不会做过多的修改。另一类是完全拓展的新的功能,提供了新的价值。这种建议多结合市场进行判断,大胆上线。

这只是针对我们自己做过的实验进行的总结,并不保证适用于所有的行业。也许你的行业也有类似的规律可循,不妨试试吧!

最后,我想谈谈“产品感”这件事情。对于产品经理来说,产品感仍然是我们最核心的能力和价值。AB是一种很理性的增长思路,它往往显得没有那么有“人情味”,你无法决定它的答案,但你可以决定如何使用它。一旦开始使用它,预示着团队以数据目标为导向的决心,但千万不要被AB的结论带着走,忘记了产品的初心。

 

作者:小梅梅,美图公司产品经理

本文由 @小梅梅 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自 Unsplash ,基于 CC0 协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
起点学院课程
评论
评论请登录
  1. 请教下,为啥战略目标是dau和收入,北极星指标要选保存数?dau很直观了呀

    回复
    1. 两个原因:1.一般战略目标会比较大,北极星指标是一个直观且跟战略目标强相关的指标。比如FaceBook的之前的北极星指标是新用户建立6个社交关系,因为一旦建立了这个社交关系,用户就被激活了。所以选北极星指标比较好量化,好像是一把钥匙(北极星指标)开一把锁(战略目标)一样。2.AB的时候,如果指标看DAU,其实没法衡量。如果指标看收入应该是可以,因为现阶段我们的收入依赖流量即DAU,所以我们也没有看收入。现在我们选的AB Test指标是留存。

      回复
  2. 有公众号什么的嘛

    回复
    1. 有的 只是我没有发这篇到公众号…… 太懒了哈哈哈

      回复
  3. 什么文章都看不见,什么意思

    回复
    1. 什么意思呀?亲看不到文章吗?

      回复
  4. 4象限图很正确

    回复
    1. 感谢指教

      回复
  5. 打卡 不错

    回复
    1. 谢谢🙏

      回复
  6. 学习了

    回复
  7. abtext是啥

    回复
    1. A B 两种不同的变量在同一环境下测试

      回复
    2. 谢谢

      回复