你的“土著思维”,正在抹杀评估的科学性

1 评论 5052 浏览 8 收藏 12 分钟

企业在数据驱动分析过程中,不要做土著,警惕看似正确的事情,坚持科学思维,随时准备被现实打脸,勇于承认“我错了”。

在二战期间,美军在南太平洋的一个小岛上造了一座空军基地,当地土著从没见过这种高科技,只知道有很多只“大鸟”飞过天空,并空投玉米等粮食。战争结束后,飞机随着军队的离开被遗弃了。因为土著们再也没有见到空投的货物,为吸引“大鸟”回来,他们就按照族群里的先知所理解的,用木头、树叶搭了一个假机场,甚至做了高塔、木头对讲机等,即使机场拟真度很高,但大鸟并没有回来……

数据驱动大行其道,在数据驱动的践行道路上,许多公司也像土著群体一样,跟着牛X公司学习。为此构建了复杂的数据系统、五花八门的指标、成百上千的自动报表。千方百计地朝着看似十分“正确”的事,却始终无法“吸引大鸟”——实现数据驱动。

在践行数据驱动的过程中,应进行反思,如“定义指标有指导意义吗?”、“报表有人看吗?他们是如何使数据的?”等等。在实现数据驱动的过程中,一切数据分析莫忘目标是“吸引‘大鸟’,要粮食”。企业在追求“粮食”的过程中,“评估”是重要工作,是数据驱动的聚焦点。

土著思维与科学思维下,如何吸引“大鸟”?

什么是评估?简言之,做了什么,结果如何?详细地说,即针对业务的每个假设和决策,给予高效、客观、全面的数据反馈,从而实现数据驱动。科学评估分为选定指标、方案实施、归因分析三个步骤,数据分析师要了解每个步骤的产出物是什么。

土著思维在企业数据分析比比皆是。下面重点对比下土著思维与科学思维在选定指标、归因分析中的差异。

1、不同思维下的选定指标

土著思维下的评估关注了繁杂的大量指标,做了很多事情,但是缺乏一致性。

这是一个典型的土著思维下的指标选定:我们简化了注册流程,因此增加了注册转化率;我们增加列表页入口,因此提升了列表详情页的访问量……随着产品的不断优化与迭代,如此不停地进行评估。

然而,每次产品迭代选择的指标都是不一致的,换句话,我们一直在讨论树枝搭建地多么像一座“机场”,然而并没有讨论‘粮食’这一核心问题?因此,这并不科学。

那么,科学思维下,如何选定指标?

只有保证指标的一致性,才能知道“粮食在哪”。如何选择一致性的指标?按照客户的选购流程的漏斗,不妨将指标直接设定为漏斗的最底端,每次评估都拿这个指标来衡量。

如图所见,我们后来将一致性指标定为了“周支付人数”,同时将优化行为对增长效果进行分级,未增长是0级,若实现2位数的增长即“二级”,若实现3位数的增长即“三级”……如此,一个季度下来,企业就能够科学评估增长的程度。

2、不同指标下的归因分析

2017年2月,杏树林进行了一场糖尿病患者招募,患者可以免费用药。在这个活动中,杏树林重要用户群——医生可以推荐患者,即填写推荐表格,杏树林核实患者入组后,将医生奖励金打到医生病历夹账户。

面对“招募的患者人数提升”的结果,土著思维与科学思维有较大差异。

土著思维式是这样的:单纯认为医生录入患者信息是很麻烦的事儿,所以要尽力减少医生的工作量。为了方便医生录入,运营人员对此做了改进。经过改进后,招募人数果然变多。因此产品同学认为,之前的假设与优化都是正确的。

然而,真的是这样的吗?

科学思维下的归因分析则有显著不同:通过对医生转化全流程(列表页→详情页→录入患者)的精细化分析,我们发现:

  • 实际上录入率其实并未发生改变;
  • 列表页到详情页的转化率提升。

那么,为什么录入率并未改变,招募患者的数量变多了呢?经过深入了解,原来是前端的同学对列表页UI进行了优化,我们可以判定,之前分析逻辑并不成立——医生录入麻烦并不会影响招募患者人数(经过一系列优化后,医生录入率未发生改变,且由于医生录入患者信息会有一定的折扣,这对医生也有一定吸引力),而极可能是因为医生身边没有合适的患者。因此,我们下一步引导医生在线转发给患者。

三项原则保证评估科学性

进行科学评估,要有“预期”和“结果”、“局部指标”和“整体指标”、“离散”和“连续”的对比,这是产品进行评估的三原则,而不是笼统的说“我们本季度要完成30份分析报告,要分析各种维度,要对业务有价值。”下面通过举例来解释这三项原则。

1、预期 VS.结果:先有预期,再谈结果

无预期,就如同“拍脑袋”做决定。以不同科室的模板上线为例。

土著思维下是这样的:团队没有任何预期,单纯认为“不同科室不同医生所记录的内容有一定差异”。产品优化后,的确留存率会变高。

科学思维是这样的:上线前,新模板以提升医生体验为目标,预计留存率会3%-5%的涨幅。上线后,留存率的确涨了,通过进一步观察发现,只是老用户变了,而新用户未变。因此,下一步重点进行新用户引导。

总之,一定要事先有预期。在杏树林内部,为了促进大家对每次优化与改进都有所预期,举办了“数据猜猜猜”的活动——每次产品在线之前,公司内部都会进行大规模的竞猜,产品和运营等团队都参与进来,现在各团队对产品上线的最终效果都充满期待。

2、局部 VS.整体:聚焦关键指标,避免一叶障目

土著思维将聚焦点放在产品功能点的改进所带来增长上;科学的数据评估,不应局限于单一的结果指标,避免一叶障目,紧盯关键目标,以此为核心衡量你的工作是否有效。

3、离散VS.连续:保证评估连续性,避免打一枪换一地

许多企业有大量的评估报告,目标零散的评估报告是数据分析的大忌,每一份分析报告都应该指向企业发展当前阶段最关键指标,具有一定连续性、统一性的数据分析报告,才能具有可比性,才能为企业提供指导作用。

3个技巧提升评估效率

以下三个技巧可以提高评估效率。

1、要做好埋点工作

埋点方案设计要与产品设计同步。避免上线后再谈需求、重新埋点造成效率低下;要防止过度设计,也要防止遗漏。回归测试保障历史埋点——有些企业没有回归测试能力,杏树林通过定期监控神策分析的“埋点管理”解决了这一问题。

2、构建指标工具箱

每一家企业根据业务不同、发展阶段不同,构建的指标工具箱应该有所差异,这点非常重要。关于指标的选择,有两点说明:

  1. 不能启发我们采取行动的指标,都是错误指标(虚荣指标);
  2. 好的指标具有及时性、易理解等特点。

用好分析工具

杏树林将市面上所有的数据分析产品经过了比较与测试,神策数据被证明是实时性最强的,杏树林在产品上线前,就根据数据指标提前设好看板(数据概览),上线1秒即可获得全面的反馈,时时提醒你“飞机来了吗,粮食来了吗?”评估效率非常高。

评估的终极形态:平台化、基础化

Facebook广告系统做的非常赞,与国内的许多平台的不同之处在于,他要先了解企业的“目的是什么”——“你的飞机是什么”,Facebook会根据不同目标设定不同指标与不同方案。Facebook广告系统具有实时、全面评估的效果,甚至在投放广告三四个小时内,企业能够进行20次~30次优化,将投资回报率达到最高。

Facebook对内的增长平台能够方便、快捷的科学实验,同时在线超过1000个版本进行测试,大约每个月一万次实验,正如Facebook创始人兼首席执行官马克·扎克伯格(Mark Elliot Zuckerberg)说:“把运营公司当作一场科学实验。”

综上所述,企业在数据驱动分析过程中,不要做土著,警惕看似正确的事情,坚持科学思维,随时准备被现实打脸,勇于承认“我错了”。

 

本文根据杏树林医疗负责人孙文亮的“数据分析如何应用于产品和业务流程的优化”在北京沙龙主题演讲整理。

本文由 @乔一鸭 整理发布于人人都是产品经理。未经许可,禁止转载

题图来自 Pixabay,基于 CC0 协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!