深度学习应对推荐系统,必须懂的3个层面

不懂技术怎么做产品?15天在线学习,补齐产品经理必备技术知识,再也不被开发忽悠。了解一下>

撰写推荐系统的文章多如牛毛,笔者准备撰写推荐系统产品的文章除了以下4点原因外,更是因为推荐系统已经从传统的推荐系统升级到智能的以深度学习驱动的深度推荐系统为主的旋律。有了这一与网上推荐系统文章立意不同的思路,故此分享出来。

因为与时下大数据AI紧密相关。故此本文先讲为什么推荐系统总被提及?接着讲推荐系统数据分析经验,然后讲解概述传统推荐系统产品的做法,最后撰写深度学习推荐系统产品的操作方法。

为什么推荐系统常常被提及?

1. 国际科技公司从推荐系统获益有先例

根据微软亚洲研究员的报告,推荐系统给亚马逊(国内竞品淘宝)带来了35%的销售收入,给Netflix带来了高达75%的消费,并且Youtube(国内竞品爱奇艺、腾讯、优酷视频)主页上60%的浏览来自推荐服务。

2. 产品经理市场职位用高薪拥抱推荐系统产品经理

市场上招聘推荐系统产品经理的公司多,且相对传统产品经理薪资很高,如下图:

3. 快速综合迭代的推荐系统锤炼产品经理的能力

推荐产品自身迭代快,亦能综合体现产品经理的综合素养。

首先推荐系统快速的从传统推荐系统过渡到AI机器学习推荐系统,另外推荐系统产品种类繁多,大致可以分为:离线与实时;基于统计与基于个性化;基于相似度与基于模型;基于内容与基于协同过滤等等种类。如此庞大的产品种类足够锻炼产品经理的复合能力。

4. 推荐系统有广泛的应用且带来实实在在的益处

推荐系统能为公司的产品和服务做预测,提早讲产品和服务售卖给用户,实现公司商业目标。

用户更好的获取到自己需要的内容,内容更快更好的推送到喜欢它的用户手中,公司网站(公司平台)更有效的保留用户资源。

应用领域有:电子商务、电影视频、社交网络、个性化阅读、位置服务、个性化邮件、个性化广告、个性化旅游、证券、理财、个性化音乐等等。

第一个层面:推荐系统的数据分析

例如:一方面淘宝用户在逛淘宝时会留下用户的个人信息、喜好信息、上下文信息;另外一方面用户的行为,用户对宝贝的评价、评分、点击、浏览、搜藏、购买等行为会构成用户与宝贝商品之间形成行为数据。

用户对宝贝有行为数据,可以表示用户对宝贝感兴趣,有什么样的兴趣就需要数据分析。

推荐系统用户行为分析产品结构图如下:

用户行为数据分析的含义:对用户购物路径日志信息进行统计、分析,从中发现用户访问网站的规律,并将这些规律与网络营销策略等相结合,从而发现目前网络营销活动中可能存在的问题,并为进一步修正或重新制定网络营销策略提供依据。

用户行为数据分析目的:通过对用户行为监测获得的数据进行分析,可以让企业更加详细、清楚地了解用户的行为习惯,从而找出网站、推广渠道等企业营销环境存在的问题,有助于企业发掘高转化率页面,让企业的营销更加精准、有效,提高业务转化率,从而提升企业的广告收益。

小结:产品经理在推荐系统数据分析里必懂的点如下:

  1. 重点分析内容:用户来源数据:城市、渠道、页面等;
  2. 数据分析应用场景,如用户维度:拉新、留存、促活、变现等;结合RFM模型做用户数据深度分析;流量维度,站内站外维度的漏斗转化分析;营销效果维度的评估分析等。
  3. 数据钻取: 数据上钻:从当前数据往上回归到上一层数据。例如:(某数据的分类下面分为品名)从品名列表收拢到分类列表。

下钻:从当前数据往下展开下一层数据。 例如:(某数据的分类下面分为品名)从分类列表展开到品名列表。

上钻、下钻统称钻取。

切片:展现同一层面的数据。如上述的产品。

转轴:这些应该属于查询、展现范畴。

第二个层面:传统的推荐系统

传统的推荐系统,一般都是根据大量用户的活动所产生的大量信息,然后所产生的群体偏好再加以利用,比如某宝的商品推荐,热门视频,看了又看,相亲匹配等等。

寻找相同品味的人,然后根据最相似的他人喜好给出推荐就可以。这就是协同过滤(Collaborative Filtering,CF)的基本想法了:借鉴相关人群的观点来进行推荐。这与KNN虽然大体一致,但实现下细微处差异还是很大的。

例如:传统推荐系统基于内容的推荐如下图

用户A喜欢电影a,电影a的类型属于爱情动作;用户B喜欢恐怖,悬疑,惊悚的B类电影b;用户C喜欢也喜欢恐怖,悬疑,惊悚的B类电影b;根据基于内容的推荐算法,会将电影c,爱情、动作,剧情类电影推荐给用户A。

小结,产品经理在传统的推荐系统中要懂如下三点:

(1)基于内容的推荐(Content Based,CB),基于用户特征属性和item的特征之间的匹配程度来做推荐,推荐效果强依赖于特征工程的好坏。

好处是用户独立性,不需要协同考虑其他用户特征,这也意味着一个缺点就是可供我们分析的内容有限。

再一个好处是没与用户互动(评分、购买、加购物车等)过的新的item也可以被推荐。最大的缺点是过度特化,推荐的items没有创新性和惊喜。

(2)协同过滤(CF),利用的信息是用户和item之间的互动信息(多用的是用户评分矩阵),CF在评分矩阵信息较为稠密的时候表现好于CB,并且CF可以捕捉到一些复杂的难以表达的信息;在实际应用中CF经常会产生意外的惊喜的推荐,这一点也暗示着CF方法不适合做公共基金推荐等严肃的推荐任务(因为CF主要基于稀疏的、不完整的数据做推荐);再一个CF存在冷启动问题。

(3)混合推荐方法,CF+CB

第三个层面:AI机器学习赋能的深度推荐系统

我们知道AI包含机器学习和深度学习,而深度学习是机器学习的特例。

推荐系统与深度学习,深度推荐系统现阶段的应用主要体现在如下三个层面:

(1)提升表征学习能力。深度