数据产品经理的入门手册:如何评估数据产品的上线效果?

不懂技术怎么做产品?15天在线学习,补齐产品经理必备技术知识,再也不被开发忽悠。了解一下>

一个好的产品通过产品评估才能衡量其产品效果及业务价值,那么对于数据产品来说,我们怎么对齐评估呢?本文作者同大家分享一套适用于数据产品的评估体系,解答如何评估数据餐品的产品效果。

对于数据产品经理来说,最头疼的问题就是:当我的产品上线之后,我该如何评估我的产品效果?

对于策略产品来说,我可以很轻松的基于实验组或者对照组,来获取策略的上线效果。

对于C端&B端产品来说,我可以通过用户(或商户)的规模、增长、活跃、留存等方面来衡量产品对业务的价值。

BUT,如果你做的是数据产品,或者从更大的范围来看,从事面向内部用户的后台产品,你该怎么来衡量产品的价值呢?

这个问题曾经困惑了我很久,在这些年的过程中,逐步摸索出一套适用于数据产品的评估体系,欢迎大家一起来讨论。

一、评估上线效果的重要性

上线效果重不重要?这是一个毋庸置疑的问题。

对于一个团队来说,上线效果评估是检验产品价值的重要方法。而这个问题,却是数据产品们经常逃避,或者说不愿意面对的问题。

我分析主要的原因是:评估不清楚

我上线了一款实时监控产品,不是我不想评估,而是我评估不清楚,这里的“清楚”,一方面是指我无法用合理的量化的指标来衡量产品的效果,另一方面是指即使我评估了,我也找不到我这款产品与业务价值的关联。

在评估不清楚的大背景下,我们可以看到一个有趣的现象:

一般数据产品的产品文档或者上线效果评估中,经常会用如下句式来评估产品:

  • 赋能…(上线后数据赋能某某业务)
  • 助力…(上线后助力精准化运营的展开)
  • 提升…(大幅提升分析效率)

你看,是不是非常熟悉类似这样的句式?

如果我用上面类似的句式,这种宏观的车轱辘话来评估数据产品的上线效果,会有什么样的影响呢?

经过这些年的风吹雨打,我理解会有如下两个影响:

1.上线即结束

你的产品上线即为结束,你会立刻投入下个产品的进程之中,产品很难有一个系统化的迭代节奏,因为你没有清楚的可评估的迭代价值。

2.答辩很吃亏

是的,产品经理,无论公司大小,都会面临成长晋升的问题。

而对于一个数据产品,如果你在产品线晋升,面对策略产品各种亮眼的数据效果,面对C&B端产品各种的业务价值贡献,你会举步维艰;

如果你在BI线晋升,面对一个个帮助业务决策的分析实例,你毫无胜算。

所以说,数据产品的上线效果评估是一件非常重要的事情,不夸张的说,事关产品生死,个人前途。

二、一般的效果评估方法

既然数据产品的效果评估这么重要,那作为一名数据PM,我该怎么来评估我的产品呢?一般通用的思路会有如下的两种方式:

1. 从访问量的角度

看数据产品上线后的PV&UV等,和使用行为相关的数据。

乍一看,这毫无问题;但是我们可以仔细想一想如下两个问题:

1)我上线两款数据产品,一款是给10w运营看每天可以产生10w的UV,另一款只给老板看每天仅产生5个UV,请问这两款产品谁的上线效果好?谁的价值大?

2)实时监控产品的要求是每小时看一次,天级监控产品的要求是每天看一次,谁的价值更大?

你看,数据产品,由于目标用户的局限性与产品本身的定位差异,会导致访问量存在天然差异,这个差异会让数据产品没有一个通用的访问参考系来衡量。

2. 从提效的角度

假设数据产品上线后,产品分析数据的效率是excel分析效率的2倍,但是内部用户不用这个数据产品,这个时候上线效果是好还是差?

数据产品及其依赖于用户的使用,提效是建立在用户使用的基础上,很难从提效这一个单一维度来衡量数据产品的效果。

那么,我该如何评估数据产品的上线效果呢?

三、一套数据产品的效果评估体系

首先,我理解数据产品的上线效果,不是对上线结果的静态评估,而是对上线后整个产品运营过程的动态评估。

什么叫上线结果的静态评估?

类似访问量等,即为上线后的一个自然结果。

什么叫上线后整个产品运营过程的动态评估?

是指上线后,产品经理围绕产品上线进行一系列运营过程,并对其过程进行评估。

我们可以把数据产品的上线运营过程拆解成如下模式:

1. 知不知道?

知不知道本质是解决产品的触达问题。

一个完整的产品触达流程分为如下节点:目标用户规模->触达用户规模->真实的打开产品的用户规模。

  1. 目标用户规模:代表产品服务的用户范围
  2. 触达用户规模:指产品通过社交群组、邮件周知到的用户范围
  3. 真实的打开产品的用户规模:指用户开通权限打开产品的使用规模

这三个节点可以构成两个核心衡量指标:

产品触达率=触达用户数/目标用户数

产品打开率=打开用户数/触达用户数

基于如上,你就可以在“知不知道”这个层面衡量出产品的上线效果,具体如下:

2. 会不会用?

会不会用本质是解决产品的培训问题。

培训不是单纯的指召开一场培训会议,而是一系列的运营方法,大致会有如下几种方法:

1.案例营销(极其推荐)

经过验证,这是最有效的一种运营方法,你可以多了解业务方或者分析师们正在解决的问题,然后尝试用你的产品形成一个case,用分享的方式告诉他,这是最有效的一种培训方式

2.线上使用手册(推荐)

可以是文字形式,有条件也可以是视频形式,注意要进行数据产品的埋点,来统计用户查看使用手册的频次

3.培训会议(不推荐,因人而异)

召开一场培训会议,进行产品宣讲,一般情况下,这种方式的培训效果并不理想。当然,这里的效果取决于你培训时个人的演讲能力。

有了运营方法还不够,我们要在使用后及时监测这些方法的使用效果,一般可以通过主观评价和客观数据来衡量。

可以参考如下方式来评估“会不会用”:

3. 好不好用?

好不好用是指用户是否有持续使用的动力?我们可以拆解为如下三个部分来看:

1.动机层面

指用户使用这个产品的动机是什么?这是好不好用的本质原因。如果数据产品没有解决用户使用的动机,大概率用户是不会长期来使用的,动机可以分为如下两点:

1)用户诉求的解决程度

也就是你的产品是否达成预期产品的目标,以下为举例:

2)分析效率

你的产品是否提升了用户的分析效率,以下为举例:

2.使用行为层面

观测用户使用产品的活跃度和使用频次,注意,这里更关注的是产品本身的趋势变化,而不是和其他产品的横向对比,以下为举例:

3.主观评价层面

可以通过截图,收集一些用户反馈,来证实产品的价值。

有条件,可以做一些线上的调查问卷,在产品上线两周后发至用户;然后基于问卷反馈来简单的计算产品的NPS。

综上,我们通过【知不知道-会不会用-好不好用】这个完整的产品上线过程,就可以衡量出一个数据产品的上线效果,总结如下:

最后,想提很重要的一点:数据产品的效果评估在当下行业内没有一个共识的基准,比上线效果评估本身更重要的是纵向和leader、横向和技术团队共识上线效果的评估方法。

只有各方在一个共识语言内,你的上线效果评估才有机会得到认可并广泛使用。

 

作者:罗大大,大数据产品专家

本文由 @罗大大 原创发布于人人都是产品经理,未经许可,禁止转载。

题图来自 Unsplash,基于CC0协议

给作者打赏,鼓励TA抓紧创作!
1人打赏
评论
欢迎留言讨论~!
圈子
关注微信视频号
大家都在问