优秀产品经理如何精准发现问题(下):效果回归与阶段性调研

0 评论 6757 浏览 18 收藏 12 分钟

产品经理的核心只有一个,那就是发现和解决问题。我们往往更加关注解决问题的方式方法,而忽略了发现问题的能力。

一、效果回归与阶段性调研概论

1. 效果回归与阶段性调研对产品生命周期的意义

  • 判断和决定产品循环是否终止
  • 确定产品接下来的计划

2. 对自我成长的意义

  • 验证解决方案的可行性
  • 修正和巩固自身的方法论

3. 概念:阶段性调研是针对产品现状进行的系统性分析

此时的分析结论最能代表产品问题全貌,可以有效指导下阶段的产品计划

二、阶段性调研的时间节点(在什么时间会进行系统性的阶段性调研)

  • 接触新产品:接手一个新的产品或者产品方向时,对产品进行深入的了解
  • 周期性回顾:每个月/季度/半年进行定期的周期性回顾
  • 不定期(突发性)回顾:领导、政策上的调整需要

三、阶段性调研通用方法论(普适,也适用于人生)

定义理想态——拆解未达理想态的短板——提出解决方案——验证是否解决。

阶段性调研更关注前两个环节:

step 1:找到理想态,定义理想态并以数字化的指标或其他标准来衡量。

这是一个非常严谨的定义过程,需要PM 明确的知道自己产品的目标是什么,是各个部门共同努力的方向。

step 2:抽样分析,将所以不到理想态的case抽样分析,通过分析明确各case未到理想态的原因。

step 3:优先级判断,将所有问题进行汇总,根据影响面、问题严重程度、解决问题所需成本进行优先级排序,作为接下来的项目计划。

1. 找到理想态详解

(1)如何找到理想态

任何一个产品都用来解决用户的问题满足用户的需求,所以产品的理想态可以统一的理解为:给出的方案确确实实解决了用户的问题,比如用百度查到了自己需要的信息,用滴滴到达了目的地,用头条找到了自己感兴趣的内容并消费了时间。

接下来要找到能衡量理想态的数字化指标或者明确的标准:

A. 滴滴:容易理解,使用订单成交率可以衡量用户是否到达目的地

B. 墨迹天气:使用天气准确率可以衡量用户是否获取了正确的天气

以上为刚需类、工具类产品中的策略模块,通常可以以“解决了用户的问题”作为理想态,并找到一个标志性的数据指标来衡量是否到达理想态。

C. 百度的搜索满意程度

点击率:高点击率不能说明满意,低点击率也不能说明不满意(搜索时间)。搜索结果是平台对满足大多数用户的你内容猜测,并不一定适用于每一个用户,比如在饿了么搜索麦当劳,展示所有麦当劳店铺即可,而在搜索引擎显然不能这么简单。

头条:不能确定停留时间为多长则表示用户对产品满意。

搜索:对这种产品的理想态描述较为复杂,并不明晰,更别说使用单一指标了。需要pm基于对用户的理解、参照竞品,比如搜索完肯德基创始人再搜麦当劳,那他很可能想搜麦当劳创始人。

通常这种复杂的产品,会以平台当前能够给出的最佳产品方案(PM以为最合理的状态) 作为理想态,而不一定能够100%满足所有人的所有需求。

推荐:平台是在有根据的猜测有用的非岗需求,永远不会清楚的知道最标准的答案时什么,所以同样以当前能够给出的最佳产品方案作为理想态。再用策略推荐出的结果在所有推荐候选中是否为最佳结果、用户行为指标作为发现问题的辅助手段。

注意:所有的理想态都是为阶段性产品目标服务而服务的,随着产品的发展,理想态的定义也在进化甚至质变,比如从马车到汽车的道理。

再比如滴滴:

刚开始做出租车,以司机的应答率作为核心指标,不太关心司机应答后的流程;后来做快车专车,有了更完整的使用环节,覆盖更完整的出行流程,这时以订单的成交率作为指标,监控用户从叫车到目的地的完整闭环;接下来可能会往快速到达方向进步等。

再比如百度:

刚开始,致力于用户所搜索的每个关键词都能有对应的结果;有了用户行为的反馈之后,变会对一个用户进行用户画像,从而满足每一个人的每个搜索,致力于提高每次搜索的满意度。

2. 抽样分析

正因为成本问题,时间成本、运算能力分析,使我们无法完全了解每个用户,所以采用抽样分析。样本通常被称为case。

(1)抽样步骤:确定调研目标 → 确定抽样对象 → 选择抽样方法 → 确定抽样数量 → 样本分析标注 → 整理汇总问题

调研目标决定了抽样对象和抽样方法,根据目标确定抽样对象的维度(用户、订单等),抽样方法有随机、等分等。

首先要明确调研的目标,帮助确定抽样的对象的方式!!!

案例:分析“相关视频”推荐策略的问题 → 抽取推荐视频列表,看内容和排序是否合理

分析以上模块红广告视频推荐策略,如果抽取当前展现出来的广告视频进行抽样分析,则会出现问题:只能分析出当前展示的广告的准确率,而不能分析出广告的覆盖程度,是否有其他适合展示的广告的视频下方未进行展示。而相关视频则没有覆盖率的问题。

所以要确定正确的抽样对象,同时满足准确率和覆盖率(召回),以上案例应该在有广告展示的地方调研准确率,没有广告的地方调研覆盖率。

(2)确定抽样对象通过一定规则筛选出的待分析的全量集合

不考虑成本肯定是全量调研,但是成本有限就需要抽样。

筛选规则:

未达到核心指标(一定规则,比如只需筛选当前版本的用户而不需要筛选上一版本的用户,或者可以代表一个用户生命周期的用户,比如有循环效应的产品,用户每天的行为没什么差异,则选取一天的即可。有明显时间效应的,周末和平时不一样,则需要对一整周进行抽样)

样本类型:用户个体、行为片段(用户的行为动作session,翻页、点赞、浏览等,代表一个用户带着场景和需求在自家产品上的完整流程)、搜索词(query,抽样搜索词调研满足情况)、订单(订单的完成情况、订单后的推荐等)

案例:滴滴订单成交问题

取样:全国一周内(明天的周末效应,取一周为一个周期)内所有未成交(未成交、差评重点关注)的订单中抽样。

案例:美团搜索问题

取样:因为无法直接通过数字性指标精准筛选,所有只能从一天的全量用户session中抽样,然后人为进行进一步筛选

(3)选择抽样方式:常用的抽样方法是随机抽样

随机抽样:从N个单位中任意抽取n个,每个样本被抽中的概率相等,适用于大多数场景.随机抽样也有很多细分方法,不再赘述。

选择抽样数量:统计学角度,样本数越大越好。

统计角度,样本数量越高越好,结果的准确率就会越好,但是调研成本也会越高,所以调研成本是精度和成本的balance,有统计意义即可。

经验值:一般问题:尽量使代表某个问题的样本数量≥5,或者影响面≥3%即可。

样本标注分析:对抽样的case进行过逐一分析

人工对每个case进行分析,太过于细节,不再赘述

整理汇总问题:按照合理的逻辑框架进行整理汇总,普适

  • 上下层级:总分关系
  • 同层级之间:相互排斥不重叠,不遗漏

3. 优先级判断

单位成本下的收益从大到小即优先级从高到底。

单位成本下的收益:ROL=项目收益/项目成本

当ROL相同时取绝对20天内收益绝对值更大的那个,同时兼顾影响面、恶劣程度、国家政策等(也就是较为常见的四象限判断法)

计算方式:

  • 项目收益:待解决问题影响面(调研结果直接得到,百分比)*解决后体验提升程度(现阶段与理想态的差距)*预期解决比例(由开发给出,解决之后可以解决到什么程度)
  • 项目成本:一般指研发成本和硬件等成本

优先级判断很重要:直接决定后续的产品计划

至此,阶段性调研的方法论已全部完成。

 

作者:海燕是只蠢猫,微信公众号:双手伐孤木

本文由 @海燕是只蠢猫 原创发布于人人都是产品经理,未经作者许可,禁止转载。

题图来自Unsplash,基于CC0协议。

给作者打赏,鼓励TA抓紧创作!
更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!