内容风控体系-如何做好内容审核

3 评论 6399 浏览 37 收藏 15 分钟

编辑导语:众所周知,对内容产品来说,内容审核是绕不开一环。而最近几年频频出现网信办约谈各种网站平台的新闻,更是反映了内容审核的重要性。本篇文章里,作者将结合自身经验,探讨内容审核的流程、不同类型的内容以及对用户体验的影响,一起来看看吧。

最近几年,屡屡报出网信办约谈各种网站平台的新闻,一些平台被要求限期整改,严重的则是无限期下架。

对内容产品来说,内容审核是绕不开一环。用户上传的海量内容,需要经过严格的审核之后才能呈现在消费者面前。对UGC产品来说,内容风控是底线,底线之上才能去讨论内容的优质与否、产品的优质与否。

本文将结合笔者的经验,探讨内容审核的流程、不同类型的内容以及对用户体验的影响。

一、完整的审核流程

1)机器审核

利用AI技术,对用户上传的内容进行第一层过滤,或者提供一些能帮助审核的信息。

机审的结果分为两种,一种是AI能准确作出判断的,另一种是模棱两可,机器无法判定的。后者需要流入人工审核,这一部分一般不超过总量的5%,前者则需要通过抽检来评估准确率。

机器识别的好处是处理效率高,能短时间处理大批量内容。缺点是不够灵活,人可以钻各种规则的漏洞,但机器要学会识别他们,往往需要海量的数据和算法来覆盖。

2)人工审核

机器审核无法判定的内容,会流入人工审核。人工审核的好处是灵活,比起机器一刀切的标准,人工能大大降低误伤。缺点也是显而易见,依赖于人工,审核效率太低。

2019年,快手新增招聘3000名内容审核编辑,将目前的审核团队从2000人扩大至5000人。而在国外,Facebook在自有算法的情况下,人工审核团队规模达到1.5万人;youtube在谷歌大脑算法支持的情况下,审核团队的人数也达到了1万+。由此可见,哪怕是机审已经过滤了大部分内容,剩下5%的内容量也是巨大的。人机协同审核仍是未来很长一段时间的审核模式。

另外人工审核的结果,最好能反过来完善、提高机审的准确度,在流程上形成闭环。毕竟人工审核的量只能靠招更多人的来达到,机器审核的效率却是很容易就能提上去的。

3)质量抽检

按一定比例抽检机器审核和人工审核的结果。抽检机审的目的是判断机审的准确度,以及调整机审的尺度。人审抽检主要是看是否按照标准执行,已经绩效考核。

4)高风险复审

在主流程的基础上,对“重点关注对象”再进行一次审核。高风险内容包括:高曝光的内容、高曝光的用户、有历史违规行为的劣迹用户等。类似于直播审核中,平台会在超高流量的直播间设置常驻的超管一样。

5)存量回扫

定期将存量内容过一遍机器审核。需要做定期回扫的原因是,机器审核的标准随时都在变动,而新的规则覆盖不了旧的内容。同时存量回扫也能发现一些产品、代码的漏洞。

6)用户举报

用户举报也是各个UGC平台必备的风控手段。用户举报不仅能借助用户的力量来发现漏出的违规内容,还能从用户的角度来审视内容的质量。现在网信等监管部门也非常重视举报是否被处理。如果平台被发现了违规内容,但没有举报或举报了没处理,那么后果都会挺严重的。这两天被约谈的金山毒霸,就是因为被举报后没及时处理,导致事情被放大的。

7)违规用户判罚

对违规用户进行判罚,是禁言、还是封号,判罚是有期徒刑还是无期徒刑。这需要有一套完整的判罚体系,对不同类型的违规,按照某个梯度规则来惩罚。比如触碰底线问题的,一次违规直接封号;而低俗、辱骂这类低风险的违规,先进行警告、禁言,多次违规屡教不改再封号。

另外,如果平台违规情况比较严重,可以考虑公示处罚结果,有助于建立良好的社区氛围。

二、审核时机

根据内容的不同可以分为:先发后审和先审后发

先审后发适用于:风险较高的内容,但对时效性要求不高。如内容量比较大博客、文章、音视频作品等。

先发后审适用于:时效性要求极高,或风险较低的内容。如直播、IM、弹幕。

除了风险和时效的考虑之外,也可以做用户分层,比如历史行为良好的优质用户,理论上不存在什么风险,可以考虑先发后审之类的。

三、内容类型

1)文字

文字内容的审核说简单也简单,说难也难。很好绕过各种规则,比如说形近字、音近字、拼音、各种字符夹杂在中间。一些恶意发布有害内容的用户,会尝试各种变体,直到能发出去为止。很难从规则上完全禁止。

某直播平台的私聊截图

所以监测用户行为,对命中次数过多的用户进行报警,重点筛查就很有必要了。

另外对文本内容的处理也有很多种方式,比如禁止发布、命中送审、替换等方式,可以适用于不同的场景。

2)图片

依赖于图像识别技术和OCR技术,分析图像内容以及图像中的文本内容。但图像识别的精准度一直到现在也不是太高,例如机器会根据黄色面积来判定是否是色情内容。这样的识别精准度必定不会太高。

3)音频

音频识别可以做一些预处理:比如将无声、音量极小或无意义的音频,通过音频识别技术标注出来,再加上音转文+敏感词匹配,为人工审核提供尽可能多的帮助。因为音频的审核不同于其他内容,时间成本是比较高的。

4)直播

由于直播是流内容,只能先发后审。

现在业内通用的都是多屏滚动监控,也就是直播墙的形式,保障出问题时第一时间发现并处理。

四、审核后的处理意见

审核判定问题的内容,通常有以下几种处理方式:

  1. 下架:有安全问题,既不允许传播,也不允许发布的内容。
  2. 自见:无安全问题,但不允许传播的内容。用户可以发布在个人主页,自己欣赏。
  3. 降权:无安全问题,但不符合平台调性,与平台无关的内容。
  4. 不可分发:无安全问题,有质量问题的内容。如音频音质差、视频卡顿、断帧之类的问题。

五、用户体验

在把控内容风险的同时,一定会对用户体验带来负面影响,如何降低影响:

  1. 尽量让用户的发布流程完整,体验更好。非必要时不去打断用户,比如禁止发布这样的设计就要谨慎使用,更好的替代方案是:允许用户发布,在之后的审核流程中进行下架或其他操作。
  2. 白名单机制:保障核心用户的体验不受影响,甚至更好。比如对白名单用户发布的内容优先审核,或先发后审。
  3. 提高审核时效,让用户对审核时间有预期。审核时效的提高仰赖于审核技术和审核流程的完善,审核时间的预期则可以从产品设计上下手,缓解用户等待审核期间的焦躁情绪。

上面三点都是优化发布者的体验,对消费者来说,可能重点应该就在推荐系统上了,比如:

  1. 如何隐式、显式的收敛用户兴趣,从而推荐用户更喜爱的内容
  2. 从用户使用感受的角度设计举报功能,听取用户的意见。发动用户来共建内容氛围。

六、例子:文本审核

笔者所在的公司搭建了自有的文本审核体系。在此记录下我的经验:

1)词库管理

除了基本的增删改查功能,还需要注意以下几点:

  1. 敏感词是否需要做细分,比如我们将敏感词分为高、中、低危三个等级,高危敏感词大多是明确涉政的,在各个业务线都是禁止发布的,中、低危敏感词则流入人审。分级的目的是降低误杀,保障用户体验,因为高危的敏感词其实只占很小一部分。
  2. 是否需要分词库,这通常取决于业务线的多少,差异有多大。笔者一开始的需求方案是分默认词库+业务线特殊词库,但后来发现并没这个必要,因为我们的业务线差异最大的也就是直播(对一些低俗内容放的比较宽),分完级之后完全可以支撑。

2)匹配规则

为了尽可能捕捉到违规内容的变种,文本审核要支持多种匹配规则,这里举一些例子:

  • 英文字母转大小写:所有字母转小写后再匹配
  • 特殊字符清洗:除中文、英文、数字之外的其他字符,一律视作特殊字符,在匹配之前应该清洗掉
  • 中文转拼音:中文转换成拼音,能匹配到同音字的变种
  • 通配符*:通配符可以用来模糊匹配任何字符,比如“办*证”,就能匹配到“办假证”、“办伪证”
  • 繁体转简体:繁体转换成简体后再匹配

3)业务接入

审核业务作为中台定位的服务,应该要方便各个业务线接入。所以尽量把可配置的业务抽象出来,方便各个业务线灵活的接入。

4)黑白名单

其实更确切的是名单管理,名单里可以灵活的配置,匹配到某个词时,想要返回什么样的结果。名单可以启用和关闭,特定时期的敏感词用名单来管理就很方便。

白名单中的敏感词就是在匹配过程中应该忽略的,比如“中国”是敏感词,而“中国好声音”、“我爱你中国”是没有风险,那么“我爱你中国,我为你自豪”就不应该被命中。

5)在线检测

提供在线检测的功能。一是改动敏感词后,可以检测是否生效;二是不确定的内容,可以通过检测确定有无风险。

6)数据统计

敏感词的拦截量、拦截率:敏感词拦截情况如何,可以看出敏感词设置的是否合理,对业务造成的影响如何。比较合理的拦截量应该在3%~5%。

具体拦截情况,比如拦截量最大的敏感词是哪些,这些敏感词设置的是否合理,针对这些敏感词是否有更好的方式。

总之,数据能够暴露出挺多问题的,也能给后续迭代提供思路。

 

本文由 @挪威的浆糊 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议

给作者打赏,鼓励TA抓紧创作!
更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 内容风控体系是一个不断查漏补缺的过程,作者说的很清晰,也很希望作者能够分享更多的业内先进经验~

    回复
  2. 很受用👍

    回复
  3. 作者通过自己的经验,对内容审核的流程、不同类型的内容以及用户体验的影响这些分析得还是很全面到位的,非常值得借鉴~

    回复