合理利用假设检验,让你看清产品数据

8 评论 14766 浏览 34 收藏 5 分钟

你真的会数据分析吗?什么才是数据分析的正确打开方式?文章中举出了几种数据分析的常用例子与检验方式,一起来学习下。

不得不说,现在互联网行业对产品经理的要求是越来越高了,不只是要求自己写得了文档、画的了原型、斗得过开发、忽悠过领导,还要分析得了各种数据。

你真的会做数据分析么

目前产品经理使用比较多的数据分析方法,就是将每天的网站或者APP数据汇总到Excel中,然后用用折线图,柱状图来展示数据的趋势。比如下图中如果是看UV,那就把每天的数据汇总出来,然后按照每周或者每月拉一下平均值,做个折线图,是升还是降,一目了然。细致一点就是对于一些关键的时间节点进行单独分析,比如7月25日的上升期是做了哪些功能或者活动,导致UV的整体提升。

然而,这其实是非常粗糙的一种分析数据的方式,只是停留在数据的表面,并不足以是判断数据变化的依据。

举个打脸的栗子

我们APP正在做一项运营活动,活动的目的是提升UV和拉新。在活动进行的第10天,我们出一版数据报告,主要看活动的进行的10天里,APP的UV是否有增长。

具体数据如下,数据分析报告中给出的结果是APP的UV从活动前10天的平均167575提升至173514,提升了大概3.5%。领导们表示很开心,预计两个月的活动进行到刚开始的10天,UV就有了提升。

然而这个数据真的能够代表数据提升了么?

实际上,我后来又重新做了一次分析,平均值和提升比例没有问题,和原来一样,但是通过对前后数据的差异性检验,发现活动前和活动中的UV数据之间并不存在明显差异,也就是这种提升并不能明显到称其为提升。所以看到结果后也算痛打了我的脸。

从上面的案例做个总结就是:不能只是简单看数据提升比率,还要看这个提升比率是不是有意义,提升了2%,和提升了12%,都是提升,哪种才是真正的提升。

几个常用场景的数据分析方法及具体操作

运营活动效果数据分析

  • 常规:UV、PV、拉新、订单等均值及提升比
  • 精确:前后活动的UV、PV、拉新、订单数据的假设检验,

如果是在全站做活动,则使用配对样本T检验;

如果是分平台,如安卓和苹果用户效果对比,则使用独立样本T检验。

A/B测试数据分析-对某个页面改版的A/B测试

  • 常规:UV、PV、拉新、订单等数据均值及提升比
  • 精确对比:A测试的UV、PV、拉新、订单等数据与B测试结果的UV、PV、拉新、订单等数据假设检验

如果A/B测试使用的同时分流量进行测试,则这时候应该是两波独立用户,我们假设随机分配的用户不存在差异,可以用户独立样本T检验。

如果A/B测试使用的是前后测试,即同一批用户分别在A测试环境下做一段时间测试,然后再在B环境下做一段时间测试,则使用配对样本T检验。

如果页面改版的测试方案不只是两种,则可以使用方差分析的假设检验方式

其实数据分析还有很多种检验方式,适用于很多情况,文章中举出的只是几种常用例子,如果大家想要学习更多,可以看下相关数据或者统计学论坛,让我们的产品数据做的更精确。

 

本文由@ Sonya 原创发布于人人都是产品经理,未经许可,禁止转载。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 说了点皮毛

    来自上海 回复
  2. 前后数据的差异性检验,用什么处理?处理思路是?怎么处理的?方便知悉吗?

    来自湖北 回复
    1. 前后如果用的相同样本,用配对样本T检验;如果是不同样本,可以使用独立样本T检验

      来自江苏 回复
  3. 期待更深入的思考解析…

    来自广东 回复
  4. 虽然学习过统计学,但是表示没看懂啊,可以再详细一点么

    回复
  5. 前后数据的差异性检验,用什么处理?处理思路是?怎么处理的?方便知悉吗?微信15956069645

    回复
  6. 完会没看懂,太粗糙了

    回复
  7. 能否讲的更详细呢?那个打脸的栗子,完全没看懂什么意思这对于真正有需求的读者来说,当真是吊了胃口,却没有任何食粮啊。能否留个联系方式,教导一下?谢谢。

    回复