浅谈数据分析中的“暗物质”

3 评论 6290 浏览 14 收藏 12 分钟

我们分析数据,更重要的是看到数据中所隐藏的暗物质,即数据图中你看不见的数据\逻辑\知识。

开门见山,以下是某新闻媒体WAP\APP\PC三端的分周中和周末的PV曲线,下面尝试分析其中是否存在某种规律。

图一:newsAPP某周一库存

图二:newsAPP某周日库存

1.数据的准确性和代表性

在分析数据之前,有一个非常重要的事情,大家往往会忽略,那就是数据的置信度是多少。

如果数据的准确性本身存在问题,那能产出正确结果的概率与买彩票中奖的概率大概相差无几。即便数据是准确地,那还得证明数据具有代表性,你是不是只抽取了一天的数据,你是不是只抽取了一端的数据。

自然,很多时候,你必须要进行抽样,那你更要谨慎了,因素那么多,你要保证自己在数据采样过程中,考虑了应该考虑的因素。当然,这些数据对于这个结论很具有代表性,对于另一个分析目的却有可能完全没有代表性,这些都不能一概而论。

总之,数据准确性这个问题基本上要在分析之前给出确定的答案。而数据是否具有代表性这个问题由于比较复杂,尽可能的在分析之前考虑清楚的同时,在分析过程中,一定要随时保持着质疑精神,每向前一步,都要重新考虑数据样本是否还具有代表性。

图三:newsWAP某周一库存

图四:newsWAP某周末库存

2.看图说话

以下图中数据经受过了我们多方位的考验,所以数据基本准确,代表性具体要看你的分析目的。

基本确定了准确性和代表性后,怀着高度质疑的精神,让我们开始我们的分析之旅。

首先,单独来看每一个图,大家可以很清晰的理解,这六条PV曲线都是与用户的行为息息相关的。从各条PV曲线的变化来看,用户7:00-8:00起床的比较多,22:00是一个大家进入休息比较集中的时间点。凌晨的2:00-5:00是用户活动的低谷,而波峰在时间上一般是20:00-22:00。

图五:newsPC某周一库存

图六:newsPC某周日库存

3.多项对比

说到这里,细心的大家可能对图五\图六中的数据表示质疑。因为它不符合我们刚才推出来的规律。

比如说,PC端一天中的波峰时间是每天的9:00-10:00,而且周一和周日的PV曲线变化非常大。 周一的数据量大周日一两倍的样子,而且周日白天的波动比较缓和,而周一的波动非常大,存在多个波峰波谷。相反,APP\WAP在周日和周一的PV总量并未出现明显变化,而且曲线变化规律也大抵相同。

4.挖掘暗物质

所谓暗物质,就是数据图中你看不见的数据\逻辑\知识。

所谓的数据分析或者挖掘就是挖掘各个数据之前的关联,数据与暗物质之间的关联。

仔细想来,我在“看图说话”中的推理其实利用了先验知识,也就是说大家有起床后看新闻和睡觉前看新闻的习惯,事实真的是这样吗?事实大概确实如此,但是在分端上可就不同了。

APP\WAP都是移动设备上可以触及的渠道,所以基本可以与用户的起居习惯相吻合。但是PC端并非触手所及,并不能完全和用户的起居相吻合,毕竟你零碎时间里可以打开手机,却不太可能去打开电脑。

上面我说到PC端并不能很好的反映用户的起居,那他能反映用户的什么呢。想想我们平时使用PC的场景,PC端数据是否能反映用户的上班时间特性?这点确实能给出数据支持。

一是周一比周日PV量大,说明周末使用PC的用户少,周中上班时间就身不由己了,所以PV量比较大。周日和周一的曲线波动也完全能理解了,周一的PV的上涨时间落后于起居时间是因为那是上班时间,延迟的一小时左右要吃饭\要挤地铁啊,9:00左右(上班的集中时间点)大家都坐定了,刷一下新闻,PV量也就达到最大。

9:00-11:00期间的PV量几乎没有太大变化,但11:00开始就开始慢慢下跌了,一直持续到12:00,这个可能与大家要逐渐去吃午饭相关,经过了12:00-14:00的午休阶段,PV量存在一定上涨。

等到下午17:00,又开始下降了,到了18:00基本降得差不多了。大家基本都已经下班了。所以,我们可以说周日创造PV的这些用户,周中也会同样创造PV,而周一多出来的这些PV,其用户特征完全符合上班特性,或者说其特性完全符合朝九晚五的上班族。

5.反复求证

你的数据真的对了吗? 那我们可以说创造PC端PV波动的这些朝九晚五的用户是国企员工吗?我们可以说国企员工上班就是看看新闻,聊聊天吗?那我们是否可以说互联网员工上班就不看新闻。

我们取得就是来看新闻的UV产生的PV数据,得出来的数据当然是这样了。互联网员工的行为是否被湮没在其他原因中了?这是我上面提到的,始终要保持质疑精神。你的数据对于之前的分析是有代表性的,可是分析以上问题,可以说是一点代表性都没有。

有些人数据分析时已经早有结论,往往数据选择和分析时便会不自觉的有所倾向,难免会得出与自己假设相同的结论。所以我们在得出结论时,其实还要从其他很多方面进行求证,包括去掉某因素后,现象是否会消失等等。

6.你的结论真的对了吗?

之前朋友圈流传着这样一个消息:有权威分析机构经过数据分析发现,战狼2和疯狂动物城的票房都很高,但两者用户重合度并不高。战狼2的观看用户更喜欢喝冷饮,而疯狂动物城的用户却更喜欢奶茶。但其实疯狂动物城上映在冬季,而战狼2上映在夏季。即便经过反复求证,我们也只能说是结论的置信度越来越高了,并不能证明这是对的。所以,除了尽可能的反复求证,剩下的方法是就是进行数据驱动策略的验证了。验证可以分为对照组等等,此处不再赘述。

7.猜猜他的用户

如果你细心一点,便会发现newsAPP\WAP两端在周日的变动相比周一稍稍延后,这估计和大家的周末作息习惯延后有关,至于为什么延后并不多,那说明主流用户肯定不是那些“上班睡不醒,周末睡不着的”年轻人啊。

8.写在最后

就是这几张平时用来做实时监控的曲线还能扯出这么多东西来?来张照片给大家。

【以下内容来自百度】中国最著名“照片泄密案”,是由1964年《中国画报》封面刊出的一张照片引起的。在这张照片中,大庆油田的“铁人”王进喜头戴大狗皮帽,身穿厚棉袄,顶着鹅毛大雪,握着钻机手柄眺望远方,在他身后散布着星星点点的高大井架。日本情报专家据此解开了中国当时最大的石油基地–大庆油田的秘密。

1、他们根据照片上王进喜的衣着判断,只有在北纬46度至48度的区域内,冬季才有可能穿这样的衣服,因此推断大庆油田位于齐齐哈尔与哈尔滨之间。

2、通过照片中王进喜所握手柄的架式,推断出油井的直径;

3、从王进喜所站的钻井与背后油田间的距离和井架密度,推断出油田的大致储量和产量。有了如此多的准确情报,日本人迅速设计出适合大庆油田开采用的石油设备。当中国政府向世界各国征求开采大庆油田的设备方案时,日本人一举中标。

庆幸的是,日本当时是出于经济危机,根据情报分析结果,向我国高价推销炼油设施,而不是用于军事战略意图。

所以数据分析中最重要的是什么?暗物质啊!

 

本文由 @biteme 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 最后的例子有意思

    来自福建 回复
  2. 1

    来自江苏 回复
  3. 第一次发表文章,小编对我的原文格式进行了修改,更利于阅读了,在此谢过。

    来自北京 回复