起点学院课程

从内容监管策略到职业发展建议,产品经理都关心的5大问题

人人都是产品经理
5 评论 5695 浏览 6 收藏 13 分钟
15天0基础极速入门数据分析,掌握一套数据分析流程和方法,学完就能写一份数据报告!了解一下>>

新浪微博热搜停更一周成为了热点话题,引起了行业重视。关于内容监管的讨论热度居高不下,本文从五个方面探讨内容监管到底该怎么做,并且就产品经理感兴趣的职业发展问题提出建议,希望对你有帮助。

近日新浪微博被约谈,引起了一片哗然,也让如何应对网络信息安全管理,成为了产品经理、运营人所重视的话题。

自今年5月份以来,国家网信办就在全国开启了2020“清朗”专项行动,全面覆盖各类网络传播渠道和平台,集中清理网上各类违法和不良信息。

稍有不慎,就会有关停的风险。

上图为花瓣网和掘金的平台维护公告

上周,网易易盾联合人人都是产品经理,发起了一场微信群群讨论的活动,特邀网易易盾的内容安全专家,对于如何做好网络信息安全展开了几天的讨论,产生了很多优质的内容。

小编将这次群讨论的话题,做了整理:

一、不同的内容载体,有哪些内容监管策略

内容的呈现形式从文本、图片发展到音视频,面对内容展示多样化,如何制定行之有效的内容监管策略?

Q1:针对目前语音违规该如何去规避风险内容,怎么实现降低平台风险性且提升用户体验?

语音违规检测目前主要通过机器检测及人工审核两种途径进行审核。

机器检测主要通过语音识别、声纹检测、语种识别、语义识别等做深度学习的方式来进行,人工审核可针对机器检测不确定部分进行人工再次确认。

为了最大程度提升用户体验,减少因机器检测带来的审核延迟,建议针对热度较高的语音采取先审后发,针对部分热度较低/官方内容采取先发后审策略。

Q2:5G消息下的富媒体内容(包含文本、图片、语音、视频、优惠券)是否有更优的解决方案,尤其是视频,是否有更高效的检测处理方案?

5G来了,必然数据量增多,并发增加,对内容检测的延迟、并发等要求都变高了。因为还没有真正的到5G时代,暂时还没有看到特别大的影响。

我的看法是,检测的技术手段基本不变,还是靠算法模型,规则等等,未来会提高内容检测效率的几个方面:

1、算法更新(比较难,周期慢,完全看科研界的发展速度);

2、硬件更新(GPU等运算性能提高、成本降低,就可以增强检测算力);

3、一些解决方案的提升:

比如富文本整体解决方案,拿音视频来讲,有的客户需要同时检测声音和画面,最初是分开检测,有两个结果。 后续发展为同时检测,在同一个结果内返回音频和图像检测结果,这样从业务处理上来讲提升了效果。类似的解决方案的提升,也会有一些作用。

Q3:请问,对于即时通信类产品(如微信),该如何制定内容安全策略以及审核流程,可否讲下相应的想法或思路?如有相关经验,可否介绍一下?

IM基本情况是群聊过检,私聊不过。IM对延迟尤其敏感,同时尽量避免误伤。

有一些策略上的小技巧,比如发送内容如果被检测违规,并且属于比较严重的,可以先对自己可见。

还有像视频这种,需要上传时间的,可以对用户展现的是上传中,而不是分:上传中、检测中,把实际检测时间也包含在上传过程中。这样体验能好点。

特殊时期,检测规则从严处理,尤其对那种踩红线严重违规的。

二、内容审核与用户体验,两者之间如何平衡

源源不断的UGC内容为平台注入活力,而垃圾内容的滋生却给平台带来负面影响;既要维护平台内容安全,又要考虑用户体验,如何平衡是好?

Q1:平台进行内容审核势必会影响用户体验影响发展,如何平衡内容治理中平台企业的“安全”与“发展”?

核心思路:先保安全,再谈发展!

真被关停了就没有机会发展了。而且我觉着做安全对运营来说是加法,而不是减法,我试想了一下如果一个平台没有任何约束,难免会有一些谩骂灌水之类的,反而影响运营发展,所以安全等于保障了舒适的环境,另外就是平台的一个核心吸引力是优质内容,我理解优质环境+优质内容,这些方面对于平台发展都是不可缺少的。

安全做的多少,和公司发展阶段相关联。初期都是先业务发展,逐渐凸显问题的时候才会逐步加大安全投入。

Q2:如何平衡国家网络安全要求和用户使用自由度这两者?

国家网络安全要求是有红线的,在红线内最大程度给到用户自由。所以关键在于对国家法律法规的正确解读,及时洞察国家政治意识形态,可根据业务场景不同,制定审核严格程度的不同,避免伤及用户体验。

三、不同的岗位,如何做好内容安全

维护平台内容安全,离不开产品、运营、技术等各部门的协作发力,那不同岗位的同学,在内容安全这条路上会遇到什么问题?

Q1:有时候违规内容和非违规内容的界限比较模糊,机器识别之后还需要人工审核,怎样进行产品设计才能让审核更高效?

  • 一般为了最大程度保持审核的及时性、确保用户体验并保证内容安全,针对机器识别较为确定的结果直接进行处理(例如.机器判定通过的内容可以直接发出、机器判定不通过的内容可以删除);
  • 仅针对机器无法确定的部分流入人工审核(此时为了保证实际用户的体验,待审核的数据建议保持仅自己可见状态,针对非热点区域亦可采取先发后审策略)。

Q2:如何通过分析,感知平台内容安全态势情况?

基本三方面:

  1. 第三方的安全审核服务(可以感知总体业务量、违规情况的分类、数量、用户画像等内容),属于最主要的了解业务违规风险的一个渠道;
  2. 自身运营团队/人审团队 的数据分析(比如抽检);
  3. 来自用户的信息(举报、申诉等渠道获知违规内容信息)。

Q3:技术问题,文本过滤主要用到了那些解决方案,针对不同分类有什么策略,怎么识别富文本的文本过滤?

  • 文本检测的算法结构最底层是通用的基础技术,如分词、词向量等;
  • 中层应用内容安全领域相关的预处理,主要是变种内容的识别和修正;
  • 上层是具体的检测技术,由规则引擎、相似度匹配、传统机器学习模型、深度学习模型4个模块构成。

针对富文本,易盾包装了组合接口解决方案,可将富文本通过接口一次性提交,易盾会自动拆分文本、图片分别过检,返回整体结果。

四、针对内容安全具体问题,网易又是怎么做的

网易拥有20年内容安全体系建设经验,内部积累了丰富的“反垃圾”经验和数据,针对同学们提出的业务问题,网易有何解决方案?

Q1:易盾是如何进行视频直播和音频内容的审核的?

目前易盾针对直播场景提供了基本机器检测方案,及通过智能电视墙辅助热度检测的人工审核方案:

  • 机器检测部分——直播视频目前主要通过截帧来进行过滤,直播语音主要通过感知静默时间,提取语音断句来进行语音检测的方案。
  • 智能审核电视墙——与传统的直播电视墙全量推送纯视频流审核不同,智能审核电视墙依托易盾机器检测智能化分析视频潜在风险,及时告知审核人员,嫌疑视频高亮并放大提醒,多维业务数据辅助审核,辅助热度检测(异常弹幕、异常评论、在线人数激增、礼物数激增等异常指标监控)实时动态变更嫌疑指数,帮助审核人员尽快锁定嫌疑视频,极大提升审核效率,确保视频审核效果。

Q2:如何在特殊时期针对平台安全做预警,常用预警方案?

常规存在如下几种处理方案:

  • 数据强制先审后发;
  • 建议平台对留言区、评论区、头像更换、昵称修改等涉及UGC内容产出高危区域采取短暂关闭处理/停止推送至首页功能;
  • 关闭分享功能。

五、产品经理的职业发展建议

产品经理想要转换职场环境,有哪些行业、岗位值得参考?

Q1:我是一个从内容安全平台离职的产品经理,想跳槽进入其他公司,能匹配的岗位很少,有什么相关领域可以推荐的吗?

如果不想转岗还是产品经理,可以看下目前做内容检测的互联网公司的岗位;如果考虑相关岗位,有关内容检测的,可以看下运营岗位、业务风控部门的岗位,现在看好多客户把内容风控放在了业务风控部门来做。

光看文字不过瘾,来看看群内互动实况,带你感受群内专家与同学们的思维碰撞:

上图为网易易盾群讨论互动问答截图

除了前期精彩有料的互动问答活动,6月17日(周三)晚20:00-21:30,网易易盾将在群内开展一场内容分享活动。

届时,网易易盾的内容安全专家,将结合网易20多年在内容安全方面的研究,围绕内容安全监管、内容安全体系搭建等话题,与大家进行分享与话题讨论!

参与方式

扫码填写报名表单,若审核通过,工作人员将在3个工作日内发送短信通知,一定要留意你的短信哟!

 

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
起点学院课程
评论
评论请登录
  1. 质检

    回复
  2. 有料,报名了

    回复
  3. 怎么进群?

    回复
    1. 扫码报名,若审核通过会给你发送短信,邀请你进群哟~

      回复
  4. 有些问题确实也是我想知道的,收藏了

    回复