以今日头条为例,详述数据思维驱动产品设计的方法论

零基础学产品,BAT产品总监带,2天线下集训+1年在线课程,全面掌握优秀产品经理必备技能。了解详情

本文源于今日头条算法工程师曹欢欢的分享,笔者结合自身理解和思考加以总结梳理,力求整理出每个产品经理都可以在实操中运用的科学设计产品方法论。

今日头条用了短短5年时间,成为移动端新闻媒体的独角兽,2016年末,完成10亿美金D轮融资,估值近110亿美元,成功挤入互联网第二梯队。如一句老话所说,世上没有平白无故的成功,当了解了今日头条如何打磨产品功能和交互设计后,笔者发现其成功是必然的,也是有迹可循的,这一切都源于自上而下的数据化思维。

本文源于今日头条算法工程师曹欢欢的分享,笔者结合自身理解和思考加以总结梳理,力求整理出每个产品经理都可以在实操中运用的科学设计产品方法论。

本文共分六个模块:

一、今日头条前世今生–介绍今日头条近期数据,今日头条的源起

二、数据思维做产品–CEO张一鸣如何解读数据思维,详述三个方法论

三、数据思维指导算法演化–头条推荐算法概述

四、今日头条的A/B测试系统–超级强大的科学实验系统

五、需求从何而来?数据收集到何种程度?–科学严谨的实验态度处理需求,收集全量用户行为

六、如何低成本完成有效A/B测试–A/B测试的原则,注意事项、实践方法和案例分析

一、今日头条前世今生

介绍方法论之前,我们来看看今日头条究竟有何成功之处。今日头条是一个个性化信息推荐平台,基于大数据和人工智能,做到信息推荐的千人千面,2017年6月数据显示,今日头条日活用户超7700万,月活用户近1.8亿,日均使用时长超76分钟,日均启动次数超13次,如此活跃的数据,出现在一个新闻信息类应用实属罕见。接下来,笔者带着大家来一起探秘今日头条的成功之道——数据思维打磨产品。

今日头条从起名字开始就运用了数据思维,创始团队没有头脑风暴,没有投票,没有老大拍板儿,而是采用科学实验的方式,通过数据观测确定了头条的名称。实验方法如下所属:

  • 首先,将appstore上各类免费榜单的前10名整理出来,然后根据名字归类(朗朗上口白话类,内涵情怀类,模拟特殊声音类,公司名+用途类等),分析那各类数量占比。分析结论是朗朗上口的大白话效果最好。
  • 其次,分渠道A/B测试,确定先验效果类似的发布渠道,分别投放,界面功能logo完全一样,统计各个渠道的用户下载和活跃等核心数据指标,《今日头条》效果最好。

二、数据思维做产品

今日头条CEO张一鸣所定义的数据思维包含三个维度:

  1. 收集数据。无偏,全面,客观。
  2. 做出决策。根据数据做决策,抛弃主观经验,情感因素,做到客观解释。
  3. 高效执行。3个方法论(归纳总结,A/B测试,双盲交叉验证)+高效A/B测试系统

1、归纳总结–最朴素的数据思维工具

按照特定维度对目标排序,分析top对象在特定属性上的共同点。

2、A/B测试——科学产品观的关键

(1)A/B测试定义

A/B测试是一种把实验对象随机分组,把一个或多个测试组的表现与对照相比较,进行测试的方式。

(2)A/B测试目的

通过科学实验设计,在保证采样样本无偏,有代表性的前提下,流量分割与小流量测试等方式,获得具有代表性的实验结论,并确信该结论在推广到全部流量可信。

注意事项:测试组和对照组不要设计多个变量同时测,一次实验只设置唯一变量,同时实验组内分小组,尽量保证组间数据随机分布,便于分析数据波动影响。测试前需要定义核心观测指标,通过指标数值变化,确定实验结果的好坏。

3、双盲交叉验证——确保信息审核高效快捷

交叉验证用得最多的场景是涉及到人工运营的场景,在评估时需要人工介入为文章分类,以保证推荐的准确,那么评估和审核都需要依赖人,人员能力的差异和流动性导致评估和审核标准会变来变去,这就需要机器可以监控人的行为,每个评估的运营人员有自己一个任务队列,把一个要评估的样本至少放到两个以上的评估队列里面去,就意味着一个样本最少有两个人看过,如果他们意见不一致,我们有一个资深的仲裁小组进行仲裁。

三、数据思维指导算法演化

推荐算法是今日头条产品的灵魂。头条推荐算法是一系列算法的策略的组合,每一个子系统的改进都会对系统整体造成影响。

  • 推荐排序模型:数百亿特征,涵盖你能想到的一切可以帮助做判断的信息。
  • 推荐召回模型:若干策略独立的负责判断,哪些内容有资格进入排序算法。

一个排序模型,搭配多个召回模型,通过召回模型做初筛,然后反馈给排序模型,节省99%的处理资源,推荐更快捷。

对推荐效果可能产生影响的因素:候选内容集合的变化、召回模块的改进和增加、推荐特征的增加、推荐系统架构的改进、规则策略的改变。

四、今日头条的A/B测试系统

今日头条同时在线测试的实验有很多,每月多达有上百个之多,如何科学的分配实验流量,减少沟通,降低实验成本,做到实验结果可视化展示是必须思考的,于是出现了今日头条的A/B测试系统。

  • 系统实验创建属性:实验名称,实验时间,实验类型(共享or独占),过滤流量条件,实验组ID
  • 实验动作概述:动作收集,日志处理,分布式统计,写入数据库,数据可视化。
  • 独占实验。是指实验模型比较复杂,任何其他因素改变可能影响到实验结果准确性,所以用户不可以与其他实验共享,申请完成后,系统自动随机从流量桶中分配出流量用于实验,留出一半未调整用户,作为对照数据组,将实验数据桶分开,观察数据波动性,防止测试结果有偏。

共享实验。是指实验模型只测试某类特定属性用户,可以与其他非相关属性的实验共用实验对象,流量桶分配逻辑与独占实验类似,但是当其用户可以分配到其他实验中,复用部分用户。如下图所示:

基于这套系统,基于数据分析协助产品功能迭代(经历几十个版本迭代),数百个有效改进上线,人均有效点击提升40%,人均停留时长提升50%。

五、需求从何而来?数据收集到何种程度?

1、需求从何而来

互联网产品的需求一般来源于用户反馈或焦点小组需求收集,是一种信息的归纳总结,但是这部分数据是有偏信息,不可以简单粗暴的将用户反馈的需求作为直接需求,所谓会哭的小孩有奶吃,很多时候,用得很好的用户不反馈,用得不好的才反馈。如果你改变了,是不是伤害了那些不反馈的用户呢?

其实你是不知道的,所以这些需求我们并不一定要做,只是先做一个候选实验的需求池。如果一个需求两三周持续在反馈,这个需求可能是一个强需求,那么做好了小渠道测试,用数据说话。

2、WAP页面VS原生功能

(1)原生功能

  • 优势:响应速度,复杂交互流畅,异常状态显示,缓存效果等。
  • 劣势:更新需要发版,出现问题无法快速调整。
  • 发布方式:先在小渠道发版测试,与老版本对比,如果一上来留存率降低5%,那这个改动肯定有问题。如果说波动在正负1之间,这个东西可能有用,可以大渠道发版A/B测试。今日头条可以做到从应用市场提交同一个版本,但是用户下载之后,通过服务端的远程控制,让每个人看到的界面是不一样的,确认没有问题后,将改进合并到主开发分支。

(2)WAP页面

  • 优势:随改随上,反应迅速
  • 劣势:一些交互和问题场景没有原生体验好
  • 发布方式:利用A/B测试系统,随测随发,出现问题随时调整下架。

3、“全量”用户行为数据收集

  • 根据人的特征(职业,年龄,性别,兴趣爱好,机型,短期点击行为,搜索行为,收藏行为)
  • 根据环境特征(场景,时间-饭后或周末,网络环境-wifi或移动流量)
  • 根据文章特征(文章时效性,文章热度,相似文章,点击和不点击是有偏的,停留时间,阅读的细节行为收集)

阅读细节行为收集,今日头条已经做到了近乎于眼动测试的程度,通过数据可以分析用户阅读文章的滑屏速度,阅读习惯,阅读速度,什么地方快速滑过,什么地方仔细阅读,最终,以量化的形式反馈给内容创作者,帮助其持续优化内容编辑。

4、创业初期产品的核心竞争力模型

产品核心竞争力=拉新能力*留存能力*变现能力。每项能力比对手强20%,整体差距超过70%,数据思维可以帮助团队把每一项能力发挥到极致。

六、如何低成本完成有效A/B测试

初创团队可能没有太多资源开发多个版本进行多渠道测试,一些大公司也不会如同今日头条专门设计一个A/B测试系统,那么如何在没有很多预算的情况下完成简易有效的A/B测试呢?首先,要理解A/B测试的原则,其次,一定要躲过一些坑,最后,就是根据实际情况确定测试方案(开发参与实现方案讨论)。

1、A/B测试原则

(1)多方案同时段并行测试;

(2)测试方案只有一个唯一变量;

(3)用户行为数据收集;

(4)定义核心指标。

2、A/B测试注意事项

(1)一定要是单变量。如果两个版本,每个版本有2处不同,最终分析的时候很难确定是哪个优化导致的指标变化。

(2)统计置信度。受到样本量影响(样本太少,样本代表性);置信水平(A方案49%,B方案51%,可能数据分流导致的偏差所致,分流有偏造成的影响)

(3)设置对比观察数据组,即没有任何调整的情况各项数据指标如何,用于实验效果对比分析。

3、实践方法

(1)从测试页面类型分类

  • 原生功能A/B测试。选择渠道流量类似的小渠道进行小渠道发版测试,确定方案后,在主流渠道发版A/B测试。
  • WAP/H5页面A/B测试。通过后端或前端控制,进行A/B测试,具体测试流程见下文:A/B测试实践全总结
  • 营销活动的A/B测试。通过短信、站内消息或公众号唤醒用户,可以进行用户分桶后批量通知,观察后续用户行为操作。或是通过活动banner引导入活动详情页,通过活动页引导的A/B测试与WAP页面类似。

(2)从测试时间点分类

  • 实时分流测试。实时分流测试需要开发参与,进行服务器分流或数据库分流测试,并且进行数据埋点,用于用户行为分析。
  • 定性后向分流测试。从历史数据中筛选出测试用户组和对比观测用户组,数据选择需要足够样本量,否则测试结果的置信度会很低,这种后向通知模式比较容易执行,但是并不适用所有场景,常用语召回用户,活动通知使用,通过短信和微信服务号/订阅好通知消息进行唤醒。

样本量足够的情况下,可以考虑实验组数据内部再做分组,如同今日头条系统实现的部分,观察用户行为波动性,保证测试结果置信度更高。

4、案例实操:P2P平台用户投资引导A/B测试

我们以P2P平台为例,假设P2P平台月新增1万注册用户,9000用户注册未投资,以往通过短信告知用户下发投资卷召回用户,效果非常不明显,现在将9000用户随机分成3组,每组3000用户,分别是1组(对比观测组),2组(红包召回组),3组(话费召回组),短信文案知识红包和话费区别。观察三组用户在短信发出后一天内的行为变化,核心指标定为登录APP行为。

红包和话费充值初期数量不会很大,可以考虑设计成手动下发,如果用户投资则固定时间充值,无需相应开发。

通过对比用户登录和投资行为,可以很明显的看出何种召回方式效果更好,因为是小数据样本检测,充值量初期不会太大,可以节省话费充值对接开发,测试效果出来,优化完善,确认召回方案后再进行开发才相对高效,因为很可能新召回策略并不比原有策略有效。

希望本文对产品经理们有所帮助,可以为您的产品设计提供科学的方法,也希望在留言区看到您的留言,我们一起交流小团队如何使用A/B测试,科学设计产品。

【题图来自 摄图网,基于 CC0 协议】

#专栏作家#

田宇洲,微信公众号:言之有术,人人都是产品经理专栏作家。相信极致产品=洞察人性+科学方法,从心理学和社会学研究实践中探索科学产品设计方法论。擅长游戏化产品设计,挖掘用户画像。

本文原创发布于人人都是产品经理。未经许可,禁止转载。

欢迎打赏支持原创
5人打赏
评论
有话不说憋着难受
  1. ;-) 很赞咯

    回复
  2. 贯彻数据导向的产品演进机制的思路非常赞。感谢分享~

    回复
    1. 谢谢支持 ;-)

      回复
  3. 谢谢分享

    回复
    1. 谢谢支持 ;-)

      回复
  4. :shock: 谢谢分享~~

    回复
    1. ;-)

      回复
  5. 我觉得写的很不错!赞 :smile:

    回复
    1. ;-)

      回复
    2. 有理有据!!!

      回复
  6. 强大的内容生产体系 强有力的用户数据建模 优质的内容分发推荐引擎 成就了今日头条。不过现在仍然遇到变现模式有限的困境。从产品层面讲今日头条不亏为一个好产品。

    回复
    1. 我一个朋友在百度分析了新闻媒体营收这块,号称去年头条100亿的广告收入,今年的目标是500亿广告收入,成立7年后的头条,这个营收非常不多,除了有些单一外应该没啥变现困境了吧?我反而感觉收入结构单一,广告收入几乎是全部收入这个有点不稳妥,个人观点~

      回复
    2. 已经不能独立的去看今日头条了,他们公司借助今日头条,已经成功推动了几个新的产品,感觉这才是他们赚钱的大方向。
      依托今日头条去打造新品牌,实现利润最大化

      回复
    3. 抖音、火山小视频在行业内来讲都算是比较成功的了

      回复
    4. 是的,小视频这块好像再发力,号称头条的目标是可以推荐一切,从新闻,问答,图集,小视频,因为拿到了用户的喜好和注意点信息,可以很好的做后续的各种推荐,这些都是基于它的那套推荐算法~

      回复
    5. 小视频前景还是很好的,几年之后一旦5g起来就更加光明了。而且我还研究过95后、00后这些小朋友对视频接受度也非常高,前景一片光明啊。
      而且就推荐算法这一套来讲,感觉可以和谷歌一较高下了。国内有这种技术的公司罕见啊。

      回复
    6. 这方面还真没关注,今日头条的广告应该还是公司的主要收入来源,肯定也会拓展其他产品线找机会,不清楚头条做了哪些尝试,找了一下没有发现其拓展业务,头条营收已经很猛了,百度都不敢做头条的广告生意了~

      回复
    7. 抖音、火山小视频都是他们的,在抢短视频/小视频市场

      回复
    8. 其实好奇的是短视频、小视频后期的一种盈利模式是怎么样的? 现在的市场中多数的内容社区中短视频还是处在不盈利的阶段;

      回复
    9. 赞同

      回复
  7. 都是马路边上的知识,可能是套了头条,才成了热点吧。

    回复
  8. 成功的背后是对用户群体科学的分析

    回复
    1. 恩,至少今日头条是因为这种科学方法获得了这么大的成功,当然市场环境,移动端和自媒体的崛起也起到很大作用

      回复
  9. 回复
    1. ;-)

      回复
  10. 总结:懂技术的老板很重要

    回复
    1. 懂科学产品方法论的老大也很重要~

      回复
  11. 知道今日头条就是因为它的精准推送,以前用过一段时间,头条的内容方面,我就不评价了,以数据驱动产品是目前大家都认可的方法吗?没有数据的产品该如何做呢?比如企业产品、外包或是甲方需求为主的产品

    回复
    1. 数据驱动应该是大家认可,但是实操中很少用,或者用的不太科学的方法。没有数据的产品不太可能吧,任何产品都会随着时间的沉淀大量数据,企业,外包的服务主要在于数据信息的可视化展示,而这些信息量的积累也会尤其价值,甲方爸爸如果不需要就默默的自己收集吧,如果签了保密安全条款什么的就没必要了,数据思维打磨产品是为了更优的体验,而2B的外包或开发服务本身知识为了解决甲方爸爸的问题,所以没必要较真,可以看看《我的前半生》中贺涵是怎么教育唐晶的,哈哈哈

      回复
    2. 可能我表达的不明确,我指的是运营数据少,甚至是没有,这类的产品有很多呀,我只是想知道这时如何做产品才更好,并没有较真说数据打磨产品不好的意思。

      回复
    3. 举几个例子呗,还是不太理解什么产品的额运营数据会很少或没有?想不出类似产品啊??

      回复
  12. 头条的成功得益于基于用户一切行为的数据模型的建立,并从数据中找到关系。惊讶与头条这个名字都是数据得出的,涨知识

    回复
    1. 号称张一鸣买房子都是通过数据思维,先做个爬虫程序把近几年的北京成就房源信息趴下来,然后用数据模型找出涨幅可能性最高的几套,然后确定购买决策,号称买了1年就翻倍,然后卖掉房子开始做头条了。。。。。

      回复
    2. 这么神奇! :o 数据分析已经无敌了吗 :o :o :o

      回复
  13. 分析的很全面啊。 :mrgreen:

    回复
    1. ;-)

      回复
  14. 产品核心竞争力=拉新能力*留存能力*变现能力。每项能力比对手强20%,整体差距超过70%,数据思维可以帮助团队把每一项能力发挥到极致。
    这个模型是不是太草率了

    回复
    1. 分享嘉宾在结尾的时候说的,不可能真正精确,他的理解是这几项能力是乘法关系,对于新公司,每一项都很重要,之间是乘法的关系,而所谓的20%提升知识一个范围假定,1.2*1.2*1.2=1.728,因为今日头条很早期就找到了盈利模式,所以其变现能力很强,通过个性化推荐,留存能力和活跃数据远超同类,拉新能力我的理解就是病毒推广能力,也就是分享传播能力,所以新产品亏苏打开市场这几个指标很关键,至于是否严谨感觉因人而异,不同的创始人可能这个模型都会有差异的,无所谓对错,只是在不同的产品阶段和外部环境去定义产品核心竞争模型~ ;-)

      回复
  15. 说到底一款产品做做出来最后都要看数据,【今日头条】实打实的用数据说话,有今天这样的成绩很科学。

    回复
    1. 是的,但是接触过的一些公司压根不做A/B测试,上线新功能只跟历史数据对比看优劣,这种对比很容易受到影响,导致结论偏差。

      回复
    2. 很多公司都不做A/B测试,而且一般的小公司也很难有这种环境,高层急功近利者也不再少数。真正用心做产品的比较少。在他们看来这些东西都是浪费时间、浪费精力。

      回复
    3. 是啊,数据思维一定要自上而下,头条是因为张一鸣就是技术宅,自己极端认可这种理性决策,所以整体公司文化就是这样,以前想过国企改革为什么那么难,没有自上而下的互联网产品思维是很重要的原因,所有人都对营收负责,哎~

      回复
    4. 说到这里,想起一事儿。
      以前遇到一个领导,他经常看到我研究python、mysql这方面的东西(个人非常感兴趣,一直想往数据方面发展),他就表示不爽了。
      说过这样一句话“你现在研究这些,什么时候可以成为总监、成为高管啊,你这技能现在又不能变现……”
      顿时非常无语。
      还好现在不再他下面工作,这种急功近利的思想,真的害死人。

      回复
    5. 聊到这个事忽然又让我想起来一个事,哈哈
      产品经理在职场其实两条路吧,一条走专家道路,一条走管理道路,在BAT都有类似的晋升路径,每个人根据自己的喜好去做选择。
      你的领导其实明显走的是管理那条路,核心考虑的就是团队激励和人员管理,而不是具体技术和执行,他需要根据下面人反馈的信息做快速准确的决策即可。
      而你的选择像是走技术路径,也就是让自己成为一个可以独挡一面,拥有专家视野和技能的优秀产品专家,所以你会从趋势和个人能力上走。
      个人观点,这两条路没有对错,好的产品经理未必是好的产品总监,而牛逼的产品总监未必是好的产品经理,能力模型要求不一样,换个角度,好的产品经理一定是好的产品专家,而好的产品专家一定是好的产品经理,但是产品专家和产品经理的能力模型是一致的~有点绕,哈哈哈,我们都在局中,加油啊!!!

      回复