数据驱动的核心 ——聚焦唯一关键指标OMTM

3 评论 20160 浏览 69 收藏 15 分钟

近年流行的精益创业方法,提出一种“建造—衡量—学习”的过程。这3个环节中的建造和学习都比较直观易懂,凭借常识都可以上手操练。剩下的“衡量”则有点门槛。许多非数据运营出身的产品经理,在数据分析上可能会直接套用一些传统方法,然而问题是:传统方法能直接用于精益的“衡量”环节吗?传统方法分析出来的结论,能驱动后续的产品发展,从而构成精益闭环吗?如果不能,那怎样才算精益的“衡量”呢?

先从精益的字面来看问题:精是少而精,益是有益有效;也就是说,精益的衡量方法也要少而精,也要产生切切实实的效果。

由此,精益创业又提出一个概念:唯一关键指标(one metric that matters, OMTM)。在任何类型产品的任何一个阶段,都需要找到唯一的一个数字,把它放到比其他任何事情都更重要的位置上。在数据分析时,可以抓取许许多多的数据,但必须聚焦在最关键的事情上。

为什么要聚焦在唯一的指标上呢?理由有四:

  1. 唯一指标能帮你弄清楚当前最重要的问题。
  2. 唯一指标强制你拟订一个清晰明确的目标。
  3. 唯一指标让整个团队充分聚焦,打好关键战役。
  4. 唯一指标更利于执行“假设-验证”的精益实验。

既然OMTM如此的重要,那么,我们如何选择唯一关键指标呢?

  • 好指标是可比较的。
  • 好指标是可理解的。
  • 好指标会指导你的行为,无法用于指导行为的数据只能算是虚荣指标。

可以根据产品的类型和所处的阶段,来选择不同的唯一关键指标。

选择好OMTM之后,根据产品和用户群的特点,根据当期数据的情况,我们要“不择手段”地对其进行分析。常见的分析方法有同期群分析(Cohorts)、人群聚类分析(Segments)和A/B测试,等等。

最后,要给自己制订数据目标,并且在精益过程中时刻注意:如果你已经在这一指标上达到了目标水平,就可以进入下一阶段,并重新选择另一个唯一关键指标了

实践案例

在一个手机音乐产品中,我们对精益创业的唯一关键指标(OMTM)进行了探索和实践。

在这之前,我们采用的是较为传统的数据分析方法,每个月都对该产品的新增用户数、总用户数、活跃用户数、次月留存率、歌曲播放总次数、业务收入等数据进行一次全面的分析。

对于我们这种产品经理兼做数据分析的小团队而言,传统方法的缺点其实很明显:分析角度多,报表冗长,统计分析工作量大,给人讲一次都很耗时。这直接导致两个后果:分析频次不可能太高,最多一月一次,无法及时反映产品、运营和市场的变化;看着满眼的数据,产品经理总是浅尝辄止,难得深入探究,也就无法领悟数据的变化规律,对业务数据的敏感性也就无从谈起了。

意识到上述问题之后,根据OMTM的方法,我们定下运营指标的四原则:要少,要可比较,要理解透,要指导行为。其中,前两个原则又是重中之重:只有少,才能理解透;只有可比较,并且理解透,才能真正指导后续的行为。

根据这4个原则,我们重新对音乐产品的数据指标进行了审视。

1)总用户数、活跃用户数、歌曲播放总次数、业务收入,这些绝对数值恰好是精益中典型的虚荣指标,无法用于判断产品方向和执行情况,果断去掉!

2)把原有指标进行调整和换算,可以得到一些可比较、可指导行为的指标:用户增长率、日活跃比、日活跃程度、付费转化率,再加上原来的次月留存率,指标的种类还是太多。仍然要去掉绝大部分!

3)根据产品的特性以及所处的发展阶段,首先抛弃了两个指标:用户增长率(因为我们的用户新增渠道比较稳定)、付费转化率(因为收入还不是我们当前的目标)。

4)最后,在剩余的3个指标中再次进行艰难的选择。

  • 留存率(次月留存,或次七日留存):纠结地选择了去掉。因为我们的产品已经发展了一年多,新用户的流失比较稳定,控制在了较低的水平,而且产品的发展目标是要成为有影响力的音乐媒体,最终要追求的是用户的访问流量。新用户的留存固然重要,但已经不是当前的主要矛盾。
  • 日活跃比(日活跃用户数/总用户数):决定保留。因为近期的产品优化了视觉感受,并增加了外链、推送等刺激活跃的运营手段。日活跃比这个指标,既能有效反映出新版本和运营手段对用户的刺激,又构成了音乐媒体访问流量这个总目标的一个重要环节(流量只取决于两个因素:活跃用户的数量、活跃用户的平均流量)。
  • 日活跃程度(日活跃用户当日播放的在线歌曲平均数)。先去掉。因为这个指标主要靠榜单和歌单的内容运营,而这项工作刚刚起步,还没有评估运营效果的基础。虽然也是流量目标的重要环节,但可以放到下一阶段重点考虑。

我们给最终胜出的OMTM(日活跃比)起了一个名字,叫围观指标,也可以叫唯关指标(唯一关键指标的简称)。更重要的是,这是一个大家都要来围观的数字——我们要完整地采集日活跃比的相关数据,并且要能够分版本、分渠道来看这个数字;我们每天都要针对不同版本和渠道来监控这一指标的变化,并在办公区域张贴最新的数字;我们每周要做一次分析,看看其走向是否符合预期,如果有异动,还要深挖原因,采取措施;在我们每次进行版本更新或运营活动之前,都要有意识地预估这一指标的变化,事后验证执行的结果。

这一系列“围观”的工作量,看起来不小,实际却由产品经理和研发负责人兼职完成。像我们这样没有专职数据分析师的团队,要不是因为指标足够少、足够简单,决无可能做到这样的关注力度。

我们在音乐3.0版本升级之前,针对围观指标进行了预估。在更换了一版清新的界面,并提高首页歌曲推荐的频度和质量之后,预计新版(v3.0)的日活跃比将从旧版(v2.8)的10.5%增长到13%。

在大规模发放新版本之前,先来个小规模实验:首先针对某一个渠道的v2.8用户发布了升级包。两周之后,升级到3.0的累计用户量达到5万,具备了一定的分析基础。

然后,针对该渠道的这两个版本,分别画出了近两个月的日活跃比曲线。v3.0的日活跃比大幅跳升,居然在40%左右浮动。

36-2

图一:日活跃比曲线

结果令人兴奋!但我们不由得怀疑——新版本真有那么好吗?或许新版本的用户由于新鲜感,活跃度在短期内得到提升,但也不可能高出那么多啊?

我们重新审视这次的对比分析方法,发现其中有一个不可忽视的影响因素——用户质量。在这次实验中,我们的3.0新版本全部通过自升级渠道来发放,因此,v3.0的活跃数据完全来自于主动升级的用户。而这些主动升级的用户,极有可能是我们产品的忠实用户,本身的活跃度就远高于平均值。将这批人的表现来跟总体表现比,得出新版效果好的结论,不具备说服力。

这就好比是一年级不分班,到了二年级,根据一年级的个人成绩,将学生划分到普通班和重点班,然后二年级再考试的时候,发现重点班成绩明显高于普通班,并将其归功于重点班老师的教学水平,这其实并不公平,对吗?从v2.8主动升级到v3.0的用户,就像是成绩好的一年级学生,分到了重点班。

综上原因,我们发现,要想拿到靠谱的、可比的新版本日活跃比数据,不能通过自升级来做实验,必须通过新增用户来看。但我们又想在大规模发放新版之前,通过这两周的升级实验来确认新版的效果。怎么办呢?

最终,我们改用同期群(Cohort)分析法,针对这两周从2.8升级到3.0的用户,观察其升级前后两周的活跃情况。统计结果是,这批用户在升级前两周的日活跃比为25%,升级后两周则是41%,提高了16%。这至少可以说明,在愿意主动升级的忠实用户(也是我们重点关注的用户群)身上,新版的日活跃比得到了非常明显的提升。此外,我们还搜集了许多用户反馈,对新版的正面评价远多于负面。主观反馈和客观数据相互印证之下,我们立即启动了3.0版本的大规模发放。

有了理想的分析方法,还要在实际执行中灵活处理,只要方法靠谱、数据靠谱,就能指导下一步行动。这才是精益的本质。

在那之后的一段时间里,新版本逐渐覆盖了所有的新增渠道,而总体的日活跃比也日趋稳定在一个比较好的水平,我们也在考虑进入下一阶段,开始选择新的围观指标了。日活跃程度(日活跃用户当日播放的在线歌曲平均数),将成为我们的下一个候选。因为这个指标跟日活跃比相乘,就构成了整个产品的发展目标——用户流量。此外,这个指标也非常容易理解:今天活跃的用户,平均每人在线听了几首歌。对数据指标的直观认识,将有助于我们在分析数据时迅速发现异常,迅速理解问题的所在。同时,我们下一阶段的工作重点,也会围绕日活跃程度,去强化榜单、歌单、热搜词的内容运营。

最后要补充说明的是,除围观指标之外的其他数据并不是没用,只是不作为重点来监控分析。例如,总用户数、活跃用户数这些虚荣指标,并不是真的就删掉了,而是放在给公司的月度或季度汇报中,用它来体现产品的体量和商业价值。再如留存,其实与活跃度有着千丝万缕的联系,在围观指标出现异动时,在假设验证的精益实验结果发生偏差时,仍然会利用留存这一工具来尝试定位背后的原因。

总结分析

通过唯一关键指标的运营实践,我和我的团队有了许多的收获。

在从传统分析法转向精益分析法的过程中,我们体会到一切从目标出发,多问几个为什么的重要性。不要迷信你没有真正搞懂的方法,高大全不一定适合你。而且,你搞不懂也就一定用不好。

从围观指标这件事身上,我们充分感受到了精益的魅力。少、理解、比较、指导,环环相扣,缺一不可。数据不在多,而在于你能否理解透,能否用好。要数据,更要让数据驱动业务。

在具体实践中,我们认识到理论和实际还是两回事。拥有完备而强大的精益方法之后,项目实践时还要根据环境和条件灵活执行。毕竟,人是方法的主宰。

#作者信息#

龙志勇:IT行业老兵,曾在中国电信、阿里等公司从事产品工作。写过软件代码,做过运营支撑,干过项目管理,讲过售前方案;最终误打误撞进入产品这一行,负责安卓ROM产品,针对系统级的互联网服务做过许多探索。

 

本文选自《产品经理:48位一线互联网产品经理的智慧与实战》

未经书面授权,禁止转载,违者追究法律责任。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 有数据分析的书单吗,比较适合互联网的,系统性的?

    来自广东 回复
  2. 从2.8到3.0的时间点前后推两周的对比分析要考虑着四周中的运营情况,比如说《中国好声音》、《我是歌手》、《琅琊榜》等的影视内容是否对你们的内容有影响,如果很小或者没有,这个上涨才是由产品带来的,否则就是由内容带来的。

    读后感想,不一定对,仅供参考。

    来自上海 回复
  3. 不错,谢谢谢谢!

    来自广东 回复