从0到1构建数据生态系列之一:蛮荒时代

1 评论 8518 浏览 18 收藏 13 分钟

对于中小型企业来说,开始尝试以数据的思维去思考问题,开始涉足大数据领域,这就是一个从0到1的过程了。

1. 缘起

前面刚好爬取了多个招聘网站的大数据JD信息,做了一份《2016大数据领域职位需求画像报告》,我们知道,当前大数据的需求基本属于遍地开花。

无论是帝都还是魔都,还是广州深圳,亦或者是全国其他各地,都在搞大数据;不管是不到百人的微小公司,还是几百人上千人的中型公司,亦或者是上万的大型公司,都在需求数据岗位。

大公司暂且不论,他们一切都走在前头。那么,对于中小型企业来说,开始尝试以数据的思维去思考问题,开始涉足大数据领域,这就是一个从0到1的过程了。

有(bu)幸(xing),这近半年来,我亲自见证以及亲身体会到了这个过程(好吧,这就是我半年没有文字更新的原因了),或者至今仍然在完善1这个过程中。

期间,有痛苦有坑、有喜悦有成功、有沉静有反思,这是一件快乐又痛苦,同时最终又注定很有成就感的事。

所以,我打算写一个系列,名字就暂定为《从0到1构建大数据生态系列》吧。当然,目标群体仅仅是中小型企业中,从0到1开始构建数据生态的同行们。

希望,我整理的这些东西,或者说一个技术小故事能够帮助到各位同行朋友们,能够给你们在某些阶段一些有用的建议或者参考。

至于大婶们,有兴趣的就略瞅两眼,没兴趣的就高抬贵脚,从旁绕过。当然,限于个人的知识累积以及能力,必然会存在一些误差或者观点错误,欢迎指正以及交流。

我想尽量以轻松的语句,去呈现这整个事件,去描述我自己的观点(其中会夹着很多我自己对行业,对问题的看法观点),去讲述我其中遇到的一些故事。

这样也可能会有趣点,降低纯技术的枯燥感,当然,也更符合我自己的文字笔法,希望你们能喜欢!

2. 蛮荒时代

企业为什么想起要做大数据?

一个中小型企业,为什么突然就想起要开始做数据,开始组建大数据团队呢?从目前现状来看,这是一个很正常的现象。大家都做嘛!

但有没有想过,为什么大家都做?

大数据这个鬼东西怎么在四五年前一下子就火的不行了,然后在这两年更是成了香馍馍?大批大批的传统IT从业人员,纷纷转行搞大数据。这是真的,近一年来,我面试的很多人里,很多都是从传统行业转型到大数据的,甚至有六七年开发经验,依然毅然决然转型的。这定然是市场驱动使然,有利益就有市场,有市场就有需求。

而资本市场也偏好靠数据说话的企业,甚至出现了很多以数据业务为核心的企业公司,甚至专门做数据服务的行业,一样融到了大把大把的钱。

个人认为企业开始关注,甚至是涉身大数据,资本偏好只是表象,在其内层必然还有更深层的原因。

在大数据真正兴起的08/09年之前,整个互联网都是一个蓬勃发展的时代,互联网自身普及以及覆盖度的提升,互联网基础实施、电脑智能设备等进一步普及,为各个互联网企业带来了巨大的红利。

15年的时候,我跟一个创业公司的CEO聊天时,他说过一句话,我感觉很难概况这个情况:

当年,我那个小论坛要是能坚持做下去,现在估计早就发达了。

是的,没错,当年就是随便搞个网站,只要好好搞,基本都能吸引到一大片的人,有人就能产生利益。

换做更专业点的术语就是:流量红利!

那么,到了现在,流量红利早已消息不见了。面向各种人群、满足各种需求的网站、软件、APP等等,铺天盖地而来,让用户应接不暇。

你需要的、你不需要的、你能想到的、你想不到的,五花八门的企业都会为你提供,你怎么选?!

所以,流量红利消失了!那该怎么搞?

那效率和效果这个事情就不得不重视起来了,让用户更好的使用你的东西,让你的东西更精准化、让你的员工策略方案更具有效率,那么,你就更能在千千万万的类似企业中生存下去。

那么,你的企业必然需要慢慢地远离“我觉得吧”、“我感觉”、“可能”、“或者”、“按道理应该”等这种词汇,一切回归到数据中去,让你的决策跟着数据走。

快速进行方案假设、快速进行数据反馈、快速进行策略修正、快速进行决策,让自己跑的路线更准、让自己跑得更快。

让你的用户体验更好、用的更爽,让他感觉更亲切自然,而不是你强加于其上的意志,让他被迫看你安排的东西、用既定功能。

所以,企业慢慢地开始讲究预测用户的心理,开始谈必言其“个性化”。这听起来很玄乎,但确实是实实在在的用户本质需求。因为,用户的口味也被我们各种同质化严重应用、软件,给养刁了。

于是乎,大数据大行其道;于是乎,转行者如过江之鲫。最重要的是,哈哈,它给了我一口饭吃。

你看到的是一个饮毛茹血的现状!

在引入大数据这个概念之前,试想一下,企业的数据层面会是处于一个什么样的状况?

这里我想引用原始社会的一个标志词:“饮毛茹血”。

中小型企业一般使用传统的数据库来存储业务数据,并且很大一部分是MySQL(别问我为什么,因为它免费啊),我想,这点毋庸置疑。而一般的中小型企业,特别是小型创业公司,基本是不配置专门的数据库工程师的,都是业务开发人员兼任。

于是乎,你会看到各种各样奇葩设计的数据库表、各种各样错综复杂数据表关系、各种各样看起来不合理其实用起来也不合理的数据存储方式。

你以为你来做大数据的,这些业务数据就跟你没关系吗?!关系可大发了,你第一个要处理的数据就是业务数据。

你将会忙于天天跟业务开发人员沟通交流,焦头烂额地去梳理清楚这些业务关系,甚至是转换成你要的数据形态。

然后你会不自觉地吐槽:

我凑,尼玛关系数据库中的数据也要做清洗呀!

其实这也是没有办法的事,历史原因使然,人力成本使然,这是我们处于0的阶段必然需要面对的东西。

在大数据这个体量中,业务数据只是占据了很小的一部分。是的,更多的是用户的行为数据,业务的访问数据。

你可能会很高兴的说,对了,不是有业务服务的log吗?我们可以从log中清洗出很多有用的Visitor数据来,一个MapReduce就搞定啦,分分钟的事。

啊,这个呀,当时没有想到要记录下这些东西哟,没有打这些LOG。

是不是想大喷一口血?情况好点的公司,虽然处理不了数据,但是依然是有意识的在很多业务逻辑中,埋下业务的服务LOG,落成LOG文件,待有处理能力时再做处理。

再好点的,已经有点数据意识了,开始在业务中主动埋下一些数据收集点,开始收集用户的行为轨迹数据。

但依然是把数据存储到了MySQL中,很多点位逻辑是错乱的,点位的收集目标是不清晰的(也没办法清晰,因为我都不知道要怎么用,都是提前埋下,将来可能要用而已)。

这已经很不错了,虽然点位是不准确的,虽然我不知道一天50万、100万的数据量,你的MySQL能撑几天,但好歹是有了吧,已经很不错了。

再好点的就是,已经有大数据的一到两个储备人员了,已经能够近乎的将数据以近乎正确的姿势存储到hive或者HBase中,哪怕是HDFS里头。

这已经是伟大的进步了,至少恭喜你,你已经踏过了0的阶段,步入了0.1时代!

3. 小结

以上基本上就是你进入一个即将要开始做大数据的公司,所看到的东西。是不是一脸懵逼、大写的尴尬?恨不得把这些乱七八糟的,一下子磁盘格式化掉。

这个时候,你需要做点什么?

这里,我所说的做什么,不是指开始动手干。而是之前的准备工作,算是前期工作吧。

进入之后,第一时间当然掌握如上那些信息了。接着,你需要好好跟你的老板谈一谈人生,啊不,是谈谈他到底想干什么?

他想达到一个什么样的数据业务目标,想花多大的成本,下了多大决心去做这件事,仅仅是跟跟风、炒炒概念,还是真的想解决问题。

这很重要,这关乎到你后续将投入的人力,不同阶段的规划,怎么去做这件事,做好这件事。

其实不单纯这里,其他方面也是一样的,遇到一个问题,一定是需要了解够足够的信息,彻底的了解需求才去做的,这不耽误事,不然吃力不讨好,妥妥的。

于此同时,你需要慢慢根据蛋碎菊紧的现状以及BOSS的“伟大宏图”,去规划你的人力了。至于说人力怎么搭配,什么年份、什么水平,这就需要看“菊花”到底有多紧,“宏图”到底有多大,时间到底还有多少去思考了。

好了,背起你的锄头,去挖别人家的墙角吧;或者,刷脸的时候到了,万能的朋友圈,彰显你的威力吧!

 

作者:blogchong

本文来源于人人都是产品经理合作媒体@36大数据,作者@blogchong

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 并没有看到这个H5…请问在哪刷的?

    回复