产品经理如何用数据驱动产品迭代?

4 评论 4617 浏览 35 收藏 15 分钟

出于种种原因,产品岗位会天然地带有主观性,运气好的话,感性与主观性能打造出不俗的产品亮点;运气不好的话,过度主观将给产品与用户带来不小伤害。那么我们该如何降低推理过程的主观性呢?笔者将告诉我们答案,详见本文。

撕逼天天有,每天都很多,产品经理的日常~

撕逼无外乎意见不合,本质上是因为推理出来的产品方案没站住脚,其他团队成员从个人角度剖析之后,有了其他想法,所以开始了这场撕逼。

产品这个岗位本就带有很强的主观性(同是微信,如果不合作,我不太相信马化腾和张小龙两位产品大佬会做成一个样子),因此俞军老师将其定义为社会科学,并非物理化学这种自然科学,存在固有的规律,所以一千个人眼里有一千个理想产品的样子。

那么我们又该如何降低推理过程的主观性?数据也许是不错的方法,因为它不撒谎。

以电商APP的下单流程为例,说一说如何用数据来驱动一次产品迭代。

一、发现问题

问题来源一般有两种:

1. 用户侧

这应该是最主要的问题来源,经过市场验证后的声音,用户反馈、用户调研和问卷等。

2. 产品侧

相比于用户侧,问题少一点,但也同样重要。

「解决问题」是公认的产品经理核心能力,但我认为「发现问题」同样重要,我们也要注意从产品侧主动发现问题。

用户的嘴可能不会follow heart,但身体却很诚实,然后在数据库留下了一系列言行不一的行为轨迹,我们从中可以发现当前产品的问题,甚至有可能发现颠覆你认知的用户表现。

eg:

*矩形高度代表人数

*百分比=从上一页面转化来的人数/上一页面人数

这是一款电商APP的下单路径转化漏斗,可以看出在详情页 → 下单页这个环节人数大幅下降,远低于其他环节的转化率,用户为什么进了详情页之后掉头就走了呢?

二、提出假设

无论用户侧还是产品侧的问题,我们得到的都是问题表象,需要找到可能的问题原因,然后依此提出针对性解决方案。

eg:

首先定位问题原因,提出我们的假设。

经过分析,认为当前的商品详情页的页面布局,无法突出商品价值,过于强调商品注意事项,导致用户未能真正感受到商品价值,反而被一堆注意事项吓退了。

接下来就要想解决方案,优化页面布局,突出商品价值,弱化注意事项,让用户放下戒备,放心购买。

三、确定评估指标

1. 指标类型

北极星指标

属公司战略级指标,基本由boss或产品高层制定,是长期目标,轻易不会变动。

方向指标

项目中的关键指标,用来衡量问题解决程度,与北极星指标正相关,也就是与产品大体目标一致,提升产品效用(对用户问题的解决程度)。

负面指标

项目中关键指标,用来衡量为了解决问题,而带来的负面影响程度,北极星指标负相关,与产品大体目标相悖,会降低产品效用。

注意:要提前设定好最差能接受的范围,就是这个负面指标跌到什么程度是不能接受的。

行为指标

非必需指标,大概就是某个页面的访问次数,按钮的点击率这种行为数据,基本用来分析背后的原因,不适合作为关键衡量指标(就是为了解决某个行为的问题的情况不算)

在项目中,通常用来衡量新版本上线效果的是方向指标和负面指标,北极星指标起到方向性作用,保证我们的大方向不会错,行为指标用来分析问题原因。

eg:

在这个项目中,方向指标是要将详情页 → 下单页的转化率提升30%,从而提升订单量,最终实现利润增长,经分析对北极星指标有正向作用。

但是呢,优化方案中放大产品价值、弱化注意事项,用户可能会被误导消费,没有看到注意事项就下单了,导致商品到手之后不满意,最终结果是退货率增高。当然,我们肯定不能接受用户买完都退货了,所以要设定一个我们能忍受的底线,经过分析后,确定能忍受的最高退货率为10%,超出这个值成本就cover不住了。

四、增加埋点

指标已经确定好了,接下来就要让开发哥哥埋点了。

从指标出发梳理埋点,想验证这个指标,需要什么数据来支持,直接拿实例说吧。

eg:

设计埋点不是一个简单事,其中有很多技巧,盲目埋点不仅有可能会数据污染,还可能造成不可逆的影响,比如2月5日增加的点击按钮这个埋点,你想看2月1日的埋点数据,抱歉没有。

举两个踩过的坑:

①转化漏斗不闭环

详情页 → 下单页的转化率=下单页访问人数/详情页访问人数,我需要计算出这个单一路径的转化率,我上面埋的是下单页的访问uv,这种情况下就需要保证下单页只有一个上级来源(即详情页)。

比如运营同学配置了一个banner,可以直接跳转到下单页,那我们想验证的指标:详情页 → 下单页转化率就会出现偏差,因为下单页的所有访问并不是都来自于详情页。

有一个常用的解决办法:不埋下单页的访问事件,埋详情页的购买按钮点击,因为点击购买按钮必定会跳转到下单页,以此来解决行为来源问题。

数据埋点要形成闭环,尤其是分析转化漏斗。

②数据结果不准确

比如有两种退货页面流程:

  • 页面流程1:订单页(点击退货按钮) → 退货成功页
  • 页面流程2:订单页(点击退货按钮),出现退货成功弹窗

如何拿到最准的数据结果?这个很关键。

在这个操作中,流程1比较好办,进入退货成功页说明一定成功了,所以可以用退货成功页的访问uv来判定退货人数,但是流程2没有了页面访问,点击退货按钮之后会发生两种结果(成功或失败),所以点击退货按钮立即上报埋点不是最佳方案,会把退货失败的行为也上报,这会导致数据结果不准,也是埋点中的一个坑,一定要和开发哥哥明确埋点上报时机。

有一个常用的解决办法:比如说前端埋点,上报时机明确为:后端返回结果为“成功”时上报埋点,“失败”不上报。

数据上报一定要准确,不能误报。

其实设计埋点是个技术活,除了这两个例子还有很多坑,之后打算专门写一篇如何设计埋点。

好啦,设计完埋点,写好DRD(数据需求文档),就等着市场的验证了。

五、分析数据结果

灰度上线 → 全网上线,是常见的上线策略,因为特殊考虑等原因直接全网上线的就不说了。

1. 设定实验组和对照组

灰度开放的用户量不宜多大或过小,因为新版本的体验好坏是不确定的,不同业务会有不同考虑,通常是以能验证结论,又能最小程度干扰用户的程度为标准。

这个灰度开放的用户量,满足统计学上样本量的置信度即可,网上有很多下图这种计算器,直接用就好了,不用专门学统计学。

样本量计算器

灰度开放的用户中选取用户作实验组,老版本用户中选取用户作对照组。

具体的选取方法要灵活,就像我们上学时候的一种物理实验方法-控制变量法,不同的实验目的,要控制不同的变量,根据控制的变量选择合适方法。

eg:

我要验证两组用户在详情页的行为,所以我随机选取灰度开放中访问详情页的n个用户,定为实验组,再随机选取n个老版本中访问详情页的用户,定为对照组,观察分析这两组流程转化率。

2. 分析验证指标

项目指标:方向指标和约束指标

从实际表现来看,方向指标虽然未达预期,但也起到了较好的效果,大幅提升了详情页 → 下单页的转化率,但是!但是!但是不要着急,这并不代表这一定就是正向的解决方案,我们还要跳出项目本身,看一下整个产品的指标变化,不能因小失大呀。

产品指标:北极星指标

北极星指标可能回报期比较长,比如利润还要等合作商家的回款才能提升,所以北极星指标可能会存在延迟变化,我们有时候也要提前考虑到这个特性,避免我们错误认为一顿操作猛如虎,一看战绩0-5。

项目指标表现很好,但是产品指标不一定会表现好,需要我们全局来看。

比如我优化的是儿童电话手表品类的详情页(不同品类的详情页会不一样),家长都给孩子去买儿童电话手表了,导致儿童手机品类卖不动了,由于儿童手机客单价远高于儿童电话手表,导致产品整体利润下降了,产品指标倒退,也不是没有可能啊。

所以,一个项目上线之后,不仅要分析项目本身的ABtest结果,还要考虑产品大盘影响,项目指标和产品指标都要兼顾到。

项目指标和产品指标是我们在设计方案时就想到的,但现实就是这么有意思,经常会给你surprise~冒出来你意料不到的数据波动,还是拿例子说话~

比如实验组的用户流失率要明显高于对照组,这是之前我们没有想到的,这时候就有可能用上我们之前说的行为指标,来辅助我们分析原因。

首先要知道:数据会告诉我们怎么了,不会告诉我们为什么。

我们观察用户行为后发现:大部分流失用户最后一次操作都是查看退货进度,那我们就可以提出假设:用户是因为退货率增高导致流失率的提升,因为用户退货这件事是比较挫败的(甚至是对平台不满意),导致对产品的满意度和好感直线下降,然后流失。假设是否正确,就需要通过用户调研等手段再去验证了。

所以,除了可预期到的指标外,还要注意从天而降的其他指标波动,及时找出波动原因。

关于上线策略,有两个注意事项:

1.灰度时间不宜过长,尽快得出实验结论,避免新版本负面效果影响用户;

2.如果条件允许,保留一小部分老版本用户,即不完全全网开放,因为灰度上线时间较短,新版本用户可能会因新鲜感而表现出了正向的数据结果,但从长期行为来看不一定优于老版本,所以留一小部分老版本用户作为对照。

因为互联网产品具有大数据量和快速迭代的特点,所以产品经理在懂用户和业务之外,利用数据做好ABtest非常重要,快速试错和调整,做到小步快跑。

六、最后总结一下,数据驱动产品迭代的步骤

  1. 发现问题
  2. 提出假设
  3. 确定评估指标
  4. 增加埋点
  5. 分析数据结果

 

本文由 @十八线产品 原创发布于人人都是产品经理,未经作者许可,禁止转载。

题图来自Unsplash,基于CC0协议。

给作者打赏,鼓励TA抓紧创作!
更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 期待埋点的详细分析~~~

    回复
  2. 有实战的埋点方案分享的嘛? ➡

    回复
    1. 请提需求,今天不睡,明天上线!!可还行??哈哈

      正打算后续写一篇如何设计埋点,敬请期待~

      回复
    2. 哈哈哈哈~,我回去搬小板凳,好了叫我

      回复