在进行内容治理时，我们需要考虑需要治理的对象及其方式，本文从12个维度出发，谈谈上线一条策略、一条规则的完整流程，希望对你有所帮助。

本文基于智能验证码和延时审核的背景，聊聊上线一条策略、一条规则的完整流程，本文目录如下图。

这是一本书中的一个规则挖掘流程，下文的流程可以理解为这个流程的完整版，在他的基础上有一些补充。

一、价值观

1. 业务类

不管是内容治理还是业务治理，第一步要确定的是，我们需要治理什么。不同公司业务不同，在业务侧需要治理的内容也大不相同。

例如美团点评可能需要治理虚假评价、恶意差评等公信力问题。只有真实、对用户有帮助的内容才能留得住用户的信任，下图来自美团在拉勾的招聘要求。

例如微博可能需要在各个环节控制不良内容的产生和消费。

例如知乎可能需要治理不友善、抄袭、男女权等氛围向的内容。

在 58 同城社区模块，则需要能够提升用户对业务认知，及能够提升留存的内容。所以相应的需要治理掉虚假信息、低质内容、重复内容、改写抄袭、水帖等。

2. 底线类

对于底线类的内容各公司相差不会太大，都是来自外部倒逼的治理：指令、舆情。

1.2 1 指令

指令有两种，第一种是国家部门公开发布的清查、政治指令。这类指令一般描述得较为抽象和宽泛，需要专业的政府关系部门和风控部门共同进行研判解读后，基于平台定位制定具体的执行范围和方向。

比如：6 月 15 日，中央网信办宣布在全国范围内开展“清朗·‘饭圈’乱象整治”专项行动。豆瓣开始对违规账号、问题小组等进行删除和解散，爱奇艺对集资、打榜彻底“自查自纠”。

另一种是国家部门直接给企业下达的查杀的指令，比如互联网举报中心收到 xx 举报，命令平台处理，这类指令必须执行。

1.2.2 舆情

舆情一般指用户或媒体在站外对平台出现的内容进行负面评价，并达到一定传播量，如果不及时处理，可能对平台品牌形象、声誉有恶劣影响。官媒发出的负面评价，严肃程度不亚于指令。

比如：9 月末，《新京报》和《央视网》等多家媒体报道了社交媒体的“佛媛”现象，一时间上了热搜。各个社区在第一时间进行了清查，抖音共处罚利用“佛媛”形象营造人设开展虚假营销行为相关账号 48 个，其中永久封禁账号 7 个，同时，清理违规视频 148 条。小红书第一时间已启动专项检查，清理违规笔记 70 篇，封禁账号 3 个。

10 月，很多人假期出游后，在社交网络上吐槽小红书“滤镜景点”，一时冲上了热搜，之后小红书进行了公开道歉。

对于外部倒逼的指令、舆情，一般由企业内专业的公关部门，政府关系部门进行快速交涉和判断，给出应对措施到各个部门执行落地，进行生态治理是其中必备的措施之一。

二、如何发现未发现的问题

需要治理的问题可以分为两类，一类是已知的问题，我们知道这个问题存在，只是考虑如何更好的识别、如何识别变形、如何引导用户不发违规内容、需要治理到什么程度、如何处罚、如何教育等，例如治理重复内容、改写内容。

但还有一类是，我们不需要的内容，但是我们当前并未发现这个这个问题，如何才能更好的发现这个问题。例如我们最近治理过的一类型问题，虽然在写自己经历，但我们分析后发现这类型帖子极易出现诈骗行为。这类型就属于之前未关注到，但很明确这类型类容是我们不需要的，需要新发现这个问题。

我们常用的几种发现未发现的问题包括：

• 监控体系/预警体系：通过对某些核心指标的监控，例如提现金额、发帖频率、发帖量、频繁切换账号等的监控，如果指标出现异常，则去排查相应的问题，顺藤摸瓜可能又会挖出一系列黑产。
• 离线数据分析：定期或非定期的分析历史数据，也可以发现一些未发现的问题。例如我们曾分析历史数据发现有一批用户从 5 月份开始，频繁的在评论中发布「新年快乐」相关内容，经分析，发现是一个哈尔滨的黑产团队。
• 卧底在黑产群内：平时多关注黑产作弊方式，卧底在相应群内，及时发现新型违规方式，然后再回来完善自己产品的风控体系。
• 用户反馈：时常关注用户反馈，从用户反馈中发现平台方未关注到的问题。
• 举报：也算是用户反馈的一种。

建立审核团队反馈 case 流程：平台人员很清楚知道哪些是需要的内容，哪些是不需要的内容，但见的 case 一定没有审核人员多。审核人员见过足够多的 case，但是规则未包含的内容他们并不清楚哪些是不需要的。双方各有优劣势，所以可以将平台的价值观，即第一步的问题也同步到审核团队，他们可以把规则暂时未包含到的，但是他们觉得可能不需要的 case 提供给平台人员，即可发现某些不知道的问题。

每日浏览社区：是对上一步的补充，既然平台人员对 case 了解的不够多，那就去加强了解。

建立红线内容快速反应流程：这个主要是针对一些紧急的舆情事件，例如李易峰事件、唐山打人事件等（这两个案例虽说常遇到，但比较轻，平时需要处理的更多是更紧急更严重的不适合在公众号举例的舆情事件，会被删文）。

除了上面提到的，还有其他还未成方法论的方式，只是偶尔用来发现问题。

发现问题后需要对问题有个初步评估，这个问题的严重性、涉及量、如果治理对业务的影响、需要多大成本来治理等，此时需要有个大概预估。

例如涉黄、诈骗、危害青少年的内容，可能占比很低，也很不好识别，但结果很严重，所以必须得解决。

例如发帖时很多内容使用相同图片，对消费用户体感不好，量级可能也大，但是影响程度较轻，且可通过降权分发，或分发打散，只需要不让同一个人看到相同图片即可，所以可不治理，或优先级很低。

三、收集样本

不管是已知的问题，还是新发现的问题，在制定规则、策略前，都需要大量的样本，而根据不同问题类型可能会有不同的收集样本，例如：

巡检团队提供，把筛选样本标准给到巡检团队，找出更多样本。不同公司也可能是标注、质检、审核团队，也有可能是产品自己来筛选。

自己跑 SQL，如果有可量化的标准，即自己就可初筛样本。例如满足最近 3 天发帖量 ≥20 & 所发帖触发 ≥3 个不同职业标签 & 注册时间晚于 2022 年 1 月 1 日。

四、特征分析

这一步得有点刨根问底，顺藤摸瓜的精神，以及对数据敏感性、对业务足够理解、对用户足够理解。所以，虽然是属于数据分析范畴，但产品往往会比数据分析做得更好。

这一步能说出来的方法论属于流程性的，不具有实际操作性，具有实操性的又没有固定的方法论，我以两个案例来讲是咋做的吧。

1. 案例一，多设备多账号

问题介绍，我们通过知识图谱发现部分账号和设备之间存在关联关系，例如同一个账号短时间内在多个设备上登录过，同一个设备短时间内登录过多个账号，且他们相互之间还存在金额转移行为、帖子内容质量低、抄袭、大量删帖等问题。

注：下面案例中所涉及数字，并非我做分析时实际取的数字，为了公司策略安全，下面数字我随意写的，可根据自己产品实际情况做调整。

具体分析这个问题，我们就取最近 3 个月内，同一个设备上登录 ≥5 个 uid，及同一个 uid 在≥3 个设备上登录过，两个条件作为两个问题单独分析。

先针对同设备商登录多个 uid 这个问题，具体分析时需注意：

做好用户分群：按登录 uid 数量做用户分层，例如 ≥20 个，10-20 个，5-10 个。

结合其他数据：针对这三个用户群再看对应的金额转移情况，以及内容违规情况。最终会形成一个矩阵，类似 RFM 模型中的矩阵。

例如一段时间内同一个设备上登录 uid 数量 5-10 个，则金额转移违规的概率 17%，内容违规的概率 27%。

例如一段时间内同一个设备上登录 uid 数量≥20 个，则金额转移违规的概率 93%，内容违规的概率 73%。

例如一段时间内同一个设备上登录 uid 数量 5-10 个，但是这部分 uid 有 37%的 uid 在同一段时间内在≥3 个设备上登录过。

给不同处罚：结合上面矩阵，根据不同严重情况基于用户不同处罚。例如违规严重且识别准确，则直接拉黑。违规不严重但识别准确，则限制功能。违规严重但识别不准确，则送人审。这里所说的「严重、不严重」「准确、不准确」，都是在数据分析的结果下有确定的数值的。

2. 案例二，信用卡诈骗规则

提供筛选规则给巡检团队，他们在一定范围内的内容中筛选出 xx 条可能有问题的内容给我，我在通过浏览分析出其中的特性，再针对特性做一些延展，例如包含追债、网贷、催更等关键词，图片包含手写、聊天截图、盖章合同签字、信用卡相关的海报等。

下一步制定规则时就会根据这些特定，并再做一些拓展即可（MECE 原则）制定规则。

在排查他们的其他行为，以及内容，是否存在比较高概率也存在相同问题，先接受些误伤，在支持用户做申诉。

五、制定策略/规则/模型

在分析出一些特征后，我可能会通过规则、策略、模型来解决。

1. 策略/规则/模型之间的关系

策略：通常指机审的策略，例如最常见的触发某些关键词就不通过。

规则：通常指人审的规则，作为策略的补充，包含部分策略，但又无法完全包含策略，他们是下图的关系。

机审策略有，人审规则无。例如针对识别重复文本，需要和历史库内进行对比，人工则不可能做到这件事。

机审策略有，人审规则有。例如针对男子裸露上体，策略不一定能够很准确，如果漏过，则需要人审时识别出来。

机审策略无，人审规则有。例如以语气助词出现的不文明用语，如：

他们的看老子穿裙子还叫老子爬树（语气助词）

可能基于成本，或算法成熟度等原因，会把某些规则仅让人工来识别，之后可能逐渐的也会替换成机器识别。

模型：模型可以是作为策略的一个工具，例如我们需要根据帖子和话题相关度来决定帖子是否需要奖励，或者是否需要分发，可能就会开发一个相关度模型，根据相关度不同，配置不同的策略处理方式。也可以将多条策略融合之后开发的模型，直接用于对内容的判断。注：不要一味地相信模型，模型可解释性远低于策略，开发周期长，效果不一定比简单配置一条策略好。

2. 策略筛选用户

做策略则是一个不停地切蛋糕的过程，而使用的刀便是由用户特征组成的规则，5.2 下面内容来自知乎。

5.2.1 用户情况

5.2.2 策略方法一：单规则变量刀

单变量组成的规则，就是一把切出头的刀，一切到底。

一刀切当然是不够的，我们需要多切几刀。

通过上面两刀我们留在中间的用户，只有两个坏用户，坏账率控制在了 15%。通过率则到了。

5.2.3 策略方法二：多变量规则刀

单变量规则刀切的颗粒度刀，对于变量要求高，一刀切就怕切大了。所以，从维度上看，可以用多个维度的变量去切样本，例如二变量。二变量的刀便成为了矩形刀。

多变量能够把区域区分得更加细腻，如上图按面积计算的通过率就提升了。

5.2.4 策略方法三：模型透视镜

尝试完各种初级变量刀之后，就可以将模型透视镜引入了。模型透视镜的作用不在于切，而在于给凌乱不堪的样本带来秩序 – 排序能力。

在用了模型透视镜之后，再配合变量刀就容易得多了。

5.2.5 策略方法四：用户分层刀

以上的方法都是基于一块蛋糕来操作的，在原有的基础上不断的切：所有人都被切了同样的刀。但是，我们有时候可能想做得更加细腻一些，商品推荐有千人千面，策略当然也能做。这时候就需要用用户分层刀了。

用户分层刀将一个蛋糕变成了两块，两块分别过刀。

有了不同的分群，我们再来一个个多刀。

当然实际中策略同学还有更多的方法，我罗列了几种常见武器。探索最佳策略的过程，也是不断挑选武器，不断尝试应用武器的过程。

3. 策略处理方式

通过上一步筛选出用户或内容或行为，或其他任何东西。我们还需要对不同场景、不同类型、不同严重程度、不同用户分群等等等基于不同的处罚。可能是不通过、可能是封号、可能是做挑战、可能是送人审等。随着业务发展，策略和处理方式都会逐渐的精细化。

4. 制定规则/策略注意点

5.4.1 丰富性

策略多样：审核标准的落地应在视频、⾳频、⽂本、图⽚、直播等不同内容形态下具备灵活性，满⾜内容安全的前提下还要符合不同产品形态、内容形态的传播特点。

避免⽣硬：审核标准要能最⼤限度保护内容、尤其是优质创作者的内容，审核标准的⽬不⽌是为了规避⻛险，也要充分满⾜平台的发展需要；规则上不应该只有删除和通过，也应包含提醒、退回、限制、分地区等等多种策略。

5.4.2 前瞻性

前瞻视⻆：审核标准的制定应尽量前置于⻛险的发⽣，这也需要制定者有丰富的业务经验与⻛险意识；

举一反三：出现一个问题，需梳理出同类型的问题一并制定规则。

发展眼光：审核标准应尽量⽴⾜⻓远并能持续执⾏，避免频繁改动，这样会过于消耗业务资源、同时也会影响执⾏效果。

5.4.3 清晰易懂，主要针对人审规则

条款清晰：审核标准的撰写要措辞准确、⾏⽂简洁，对于操作者也要便于理解、便于操作，忌讳晦涩难懂与执⾏脱节。

案例得当：除⽂字规则外，需要搭配适当案例⽅便理解与对标实操。

5.4.4 易于执行，主要针对人审规则

换位思考：审核标准不是为了有⽽有，应本着⽅便执⾏的原则，⼀条审核标准要辐射到⼏百、上千名审核同学，应有敬畏之⼼，换位思考，制定过程要始终站位落地层⾯。

操作便捷：审核标准不仅仅是纸⾯上的⽂字，应充分考虑执⾏的便捷性、判断的准确性。

例如，我们需要治理虚假信息，不能说看起来像假的，或者在你的价值观中是假的，得细分场景，例如对于晒工资，对于滴滴司机/外卖员/快递员岗位，若月薪≥一定值，则认为这是条虚假信息。因为有行业数据，行业内只有不到 x%的人高于这个数值，我们接受这个误伤，并且针对这个误伤我们也不是直接干掉，给他的处罚只是不分发而已。

例如，我们某条规则针对婴儿不执行，规则描述中不能说婴儿或 1 岁以下的人，因为审核人员无法判断。可以用他身上的某些标志，例如还不能走路的小孩。

5.4.5 注意误伤

制定一个策略时，需注意可能的误伤，如果误伤量级过大，会影响业务。

5.4.5 做好平衡

例如我们有一个安保方案，监管让我们在某些特殊时期，针对某些类型账号不允许发布内容，发现对业务的流量影响过大，我们会设置更严格的策略，以确保在安全的前提下尽量小的对业务造成影响。

例如我们一个策略，触发「xxx」相关的某些内容删除，因为容易存在风险，且对应内容对业务无价值，所以在用用户无感知的前提下，内容有些误伤也没关系。

六、预上线

从严谨流程上来说，一条策略不允许直接上线，都得先经过预上线，观察一段时间数据，然后优化，根据预上线的数据优化后再上线。即使非常紧急，也只是缩短预上线观察数据的时间而已。

预上线定义：让策略空跑一段时间，只需知道哪些用户、哪些设备、哪些内容等触发了策略，但并不实际对他们造成处罚。

在预上线之后可以对策略分为两种类型，看是否会对用户行为链路受影响。

如果风控的动作会导致用户的行为链路受影响，建议进行 ABtest，例如处罚后就会出现滑块验证。

如果风控的动作对用户操作无感知，建议染色标记，例如海外 ip 在某些时间段内发的内容在某些场景不分发。

七、评估及调优

我们在各个环节都会存在评估，只是有的时候会严谨的基于数据来评估，有的时候会大概预估，这一步是指预上线、ABtest、染色标记后，需观察数据做好评估，以及调优策略。但这一步所列的评估，也并不一定只在这一步使用，在前面决定要解决这个问题，制定策略时也可能会用到。

常用评估方面包括召回率，准确率，规则稳定性等。

对业务流量的影响，对审核人力的影响，对举报申诉的影响等。

不同业务可能还会有其他一些关注的指标，例如影响发帖量、影响用户量、影响头部用户量等。甚至还听说过某公司 Q4 会选择性把风控放松一些，一方面影响年度目标，一方面影响明年的业务预算，这也是需要评估的方面之一。

指标评估后，会根据对策略的目标决定是否需要调优，若已满足需求，则可以进入下一阶段，策略正式上线。

八、策略正式上线

策略由预上线变为正式上线，在功能上可能只需要在一个 btn 上调整下状态，但在流程上还有很多事需要做。

1. 上线前做好各方同步

一条新策略上线之前，需要同步到相关的各方。我们业务曾经发生过，策略运营上线一条策略，导致大量内容推到人审，人审出现积压，然后策略运营和审核主管出现吵架。

2. 继续观察数据

当策略稳定后还需要关注一定周期内的数据，例如 1 天，3 天，7 周后的治理效果。这个问题是否在减少，用户是否会变形方式在违规，是否还有进一步优化空间，有没有引入新的问题等。

例如不允许发布联系方式，上线一个治理联系方式的策略，用户是否以其他变形的联系方式在违规，这个都是需要上线后需要相应关注的。

用户是否有负面反馈，举报申诉量是否有相应变化，触发量级是否也预上线时一致。

九、策略监控及优化

在整个风控系统中包括一个子系统「监控预警」，这个系统监控的其中一块是对策略的监控，包括策略稳定性、召准率等。详细监控可到那个模块时再来写对策略的监控，这里说说日常人工的观察。

在策略上线后，人工在浏览产品时也需要主要相应内容是否又被解决，是否有漏掉，是否有变形。

例如我们曾经有条策略是禁止男子裸露上体，某一天发现海尔兄弟也被审核人员干掉，但这并非我们本意，所以完善规则，这条规则仅针对真人适用。

例如我们曾经有条策略是同一个人发布相同图片超过一定次数，则后续发包含这张图片的帖子会有一定处罚，上线后发现误伤比预上线状态大，高于预期，所以调整阈值。

例如我们曾经有条策略是不允许多账号多设备这种行为，策略上线后发现某类特殊人群是有多账号多设备需求的，且平台也允许，所以选择性放过这类人群。

十、策略调整及下线

在不同时间段，或者遇到了某些问题之后，可能会将策略下线及合并。

1. 特殊时期

在某些特殊时期，我们可能会将策略更严，例如国庆、七一、春节，以及某些历史事件日期。

此时策略就会涉及到上下线，例如某些特殊期间，针对不同等级的账号、不同渠道来源的内容、不同属性的内容，审核策略会不同。如对于境外 ip 以及中国的某些省份发的内容需要全部经过人审，甚至全部可能全部干掉这些内容。

2. 策略整合及下线

随着业务发展，策略人员的变动，新开发模型，业务变化等原因。就一定会出现策略逐渐庞大复杂，策略间出现交集、并集，或需要多策略联动处理，以及一些模型可覆盖策略，需将策略下线等情况。

此时就需要定期的复盘历史策略，将需要废弃的废弃，多条策略需要合并的做合并。

在新上线一条策略时也需要注意看看是否历史已有类似策略，是否可以合并到之前的某条策略上。

感触：虽然上面这样说，但具体实操时大家往往不敢去干这件事，就像新来的程序员去改老系统的 bug 一样，看似没用，但可能导致整个系统崩溃。但为了系统长远发展，虽然下线、合并策略很麻烦，但这件事依然值得做。

十一、制定策略的经验

在这一年半时间，我制定过几百条策略，人审规则也更新了几十版，踩过一些坑，也总结出一些经验。

如下经验主要包括两部分，我自己总结，及参考网络上别人的总结但我也有相同感触。

平衡风险和收益的能力，是风控产品经理非常重要的一个能力。

制定策略，甚至整个防控，多从作弊动机角度考虑，而不只是从识别出违规内容角度考虑。

做治理时不要贪大，一开始就想所有问题都解决，导致工作没办法进行。得确定好重点，一个周期内核心解决某几个问题，制定好指标，制定好衡量标准，饭得一口一口吃，问题得一个一个解决。

建立标准化工作流程，即：策略上线标注流程。一条策略上线是一个很长线程，若没有一个标准化流程，容易漏掉其中一些步骤。

遇到问题必然先临时用规则引擎或者离线分析的方法甚至产品的方法打击一波，而后考虑长期的防御机制。

制定策略通常是先大力出奇迹，然后再逐步优化误伤，然后逐步转化为模型。但也看策略逻辑，例如针对大 V，大力出奇迹就直接干掉了 5% 的大 V，可不行。

风控产品自己一定要去做检测，策略配置人员也是人，也可能出现配置错误，不能让这种错误出现在线上用户反馈了再去排查问题，需要做好验证。

对模型稳定性、召准率要做好监控，不然哪天模型没运行了都不知道，我司发生过这事，过了一天多用户反馈才发现。

坚持低成本、低误伤、高收益，数据说话的原则。

Spam问题具有时效性，反spam更要快速有效。

不要指望一个策略或一组策略解决所有问题。

勿以善小而不为，当成本也很小的时候，一些收益看起来小的策略，在多个策略综合起效的时候，也能带来很大的收益。

十二、内容治理的难点

问题琐碎、变种多（例如我们在朋友圈、微信群发的各种变形与微信对抗）、对抗性强、问题定义难、竞品逻辑隐藏，公开可参考资料少、结果难评估、不易发现不知道的问题、违规无孔不入等等等。