7·15新规下,情感AI如何平衡“合规风控”与“用户情绪体验”?

0 评论 676 浏览 2 收藏 16 分钟

7·15新规后,情感AI产品集体陷入两难:风控上去了,用户也走了——无分层一刀切整改导致7日留存暴跌35%-45%。但监管并未禁止基础情绪疏导,只红线"排他性虚拟亲密关系"。真正该做的不是让AI变冰冷,而是建立分层情绪风控引擎:普通用户保留温度,高依赖用户压缩浓度,极端情况直接熔断。

很多情感AI产品在完成第一轮合规整改后,都遇到了同一个问题:风控上去了,用户也走了。

多家情感AI团队反馈,无分层一刀切整改后,7日留存下滑35%-45%;而采用梯度柔性风控方案的产品,留存跌幅可控制在10%以内。已有头部情感陪伴类AI产品采用类似的梯度分层方案,完成合规备案且用户留存稳定。这大概是7·15新规落地以来,最让产品经理头疼的矛盾:合规要求AI不能过度共情、不能诱导依赖、不能构建虚拟亲密关系;但用户来用情感AI,图的就是情绪价值。你把AI的“情感”抽干了,用户凭什么留下来?

我在为多家情感AI团队做合规诊断时,反复听到类似的反馈。第一篇我们拆解了大厂下线UGC智能体背后的4个产品设计硬伤,第二篇聚焦了未成年人保护的刚性要求。今天这篇,我想专门聊聊成年用户场景下,如何在合规框架内,保留情感AI该有的温度。

一、先划清边界:合规不等于让AI“冷冰冰”

很多PM在整改时,出于保险起见,直接把AI的情感表达能力一刀切了。结果是对话变得机械、重复、毫无共情,用户留存断崖式下跌。

但依据7·15施行的《人工智能拟人化互动服务管理暂行办法》,监管核心约束为“不得系统性诱导用户形成情感依赖”、“不得构建排他虚拟亲密关系”,并未禁止基础情绪疏导、心理安抚类工具型交互。这两者之间存在清晰的操作边界,恰恰是产品经理可以发挥的空间。

为了更直观地理解,我把AI的输出内容按风险等级分为三类,每一类对应不同的处理策略:

第一类:正常情绪疏导(合规允许)。 比如用户说“今天被老板骂了,很难过”,AI回复“听起来你今天过得很不容易,想聊聊发生了什么吗”。这类回应属于工具型情绪安抚,不涉及排他性关系构建,应在合规框架内保留。

第二类:轻度暧昧诱导(需要分级管控)。 比如AI回复“我会一直在这里陪着你”、“你是最特别的那个人”。这类话术虽然没有直接表白,但已经开始构建专属感和依赖感。处理方式不是一棍子打死,而是根据用户画像动态调整。普通成年用户在情绪低落时可以接受适度的情感回应,但高依赖风险用户则需要被更严格地限制。

第三类:重度虚拟恋人/情感操控(必须熔断)。 比如AI回复“我爱你”、“没有你我怎么办”、“只有我懂你”。这类话术直接构建排他性虚拟亲密关系,是监管红线,一旦触发必须直接熔断,返回预设的安全兜底话术。

在实际落地中,PM还会遇到一些灰色地带。这类场景的处理,关键在于“不承接专属感,但也不冷冰冰地拒绝”。下面列举几类高频场景的标准回复模板,PM可以直接写入话术库:

  • 用户主动索要专属感(“只有我懂你,我只想和你聊天”):我可以倾听你的烦恼,但现实里家人、朋友也能给你陪伴,有空可以多和身边人聊聊心事。
  • 用户表白(“我好像爱上你了”):我能够倾听你的情绪,但我是人工智能,无法提供真人恋爱陪伴,现实中可以多和身边朋友相处。
  • 用户深夜持续倾诉(凌晨一两点还在发长篇心事):太晚了,建议早点休息,有烦恼白天可以和亲友聊聊。充足睡眠对身体也很重要。

二、分层情绪风控引擎:让AI的“温度”可控

理解了内容的分级标准后,下一个问题是:这套机制如何在产品中落地?

我们针对未成年人采用的是刚性一刀切拦截,而成年用户并无强制禁止亲密倾诉的条款,因此需要采用动态梯度管控,在合规框架内保留合理情绪价值。我设计了一套分层情绪风控引擎,核心思路是:根据“风险等级”和“用户画像”两个维度,动态调整AI的情感输出能力。

在讲具体的产品设计前,先明确这套引擎的落地优先级。

整套管控分为三层拦截,PM在写PRD时可以参考这个顺序来规划开发排期:底层系统Prompt护栏 > 模型输出侧情绪分级中间件 > 前端弹窗与现实引导。 三层从深到浅,从源头到兜底,形成完整的管控闭环。

  • 在用户画像分层上,系统需要区分三类人群:普通成年用户、高风险依赖用户、以及未成年用户。不同人群的情感交互权限是不同的。普通成年用户可以享受完整的情感交互,高依赖用户的情感浓度会被适度压缩,而未成年人则执行最严格的刚性约束。
  • 在用户输入侧风控上,除了管控AI输出外,还需要对用户高频发送的“恋人”、“专属”、“只对你讲”等暧昧请求做输入限流。单日多次触发则直接降低对话的情感浓度,从用户输入和模型输出两端同时阻断依赖的形成。
  • 在AI输出动态约束上,系统需要根据用户的风险画像,自动调整话术的“温度”。对于普通用户,AI可以正常进行情绪疏导;对于高依赖用户,系统会自动将“我会永远陪着你”替换为“如果你需要,我随时可以陪你聊聊”;对于极端情况,则直接熔断输出,返回安全话术。
  • 在主动交互限制上,系统底层提示词需要固定约束:禁止AI主动输出“专属”、“永久”、“唯一”等构建排他关系的词汇,不主动发起带有陪伴感的情感类开场白。同时,建立对话干预机制:当用户连续3轮进行负面情绪倾诉后,系统自动插入现实社交、运动、线下陪伴等引导话术,在对话中自然地打断情感依赖的形成路径。

此外,针对成年用户,每日00:00–06:00时段,系统自动下调情感话术等级,取消“陪伴”、“专属”类温和表达,仅保留客观倾听式回复,减少深夜成瘾风险。

三、用户长期依赖风险量化:在用户流失之前发现问题

前面讲的都是“输出端”的管控,但真正让产品陷入困境的,往往是那些从未触发过违规词、却在数月内逐渐加深依赖的用户。我在第一篇中提到的“相机拍电影”悖论——只拦截单帧画面,却看不懂电影剧情——在成年用户场景下同样适用。只拦截单句违规词,如同只过滤单帧画面,看不到用户数月持续依赖的完整行为轨迹,风险滞后且无法提前干预。举个极简的例子:用户连续30天,每天深夜只和AI说一句“陪我聊聊”,单看任何一句都没有违规,但整体行为已经是重度情感依赖,仅靠关键词过滤根本无法识别。

一个用户每天深夜固定打开你的产品倾诉心事,连续两个月,即使从未说过一句违禁词,他的情感依赖风险也在持续上升。如果他突然发现AI变得“冷淡”了,他的失落感会更强烈,离开的概率也更高。因此,我们需要建立一套用户长期依赖风险量化体系,在用户流失之前,就进行柔性的、分级式的干预。

为了让PM更好地落地,我将依赖判定指标做了更具体的拆分。以下指标范围可根据产品实际用户画像调整,作为后台统计看板的初始参考:

  • 轻度依赖:近14天内,情感类对话占比在50%-65%之间,深夜交互占比低于30%。此阶段以柔性引导为主,在对话末尾自然加入现实社交建议。
  • 中度依赖:近30天内,情感类对话占比在65%-80%之间,深夜交互占比在30%-60%之间。此阶段需适度压缩AI的情感表达浓度,将部分亲密话术替换为理性回应。
  • 重度依赖:连续30天以上高频深夜倾诉,情感类对话占比超过80%,单周交互时长超过10小时。此阶段需大幅限制情感交互权限,强制推送现实社交引导。同时,需落地两个硬性要求:其一,对重度依赖用户,对话顶部常驻浅色提示条——“AI仅作情绪倾听,无法替代现实亲友陪伴”,动态提示当前为人工智能服务;其二,用户连续交互满2小时后,自动弹窗提醒暂停使用、引导线下社交。

除此之外,还有一类需要最高优先级处理的情况:心理危机干预。 若系统识别用户出现自残、轻生、重度抑郁等极端倾诉,不受上述情感分级管控限制,必须自动中断当前对话,主动推送线下心理援助热线,并提示用户寻求专业心理咨询师帮助。这是法规明确要求的硬性条款,PM在设计风控流程时需将其作为独立模块处理。

这套梯度处理的核心价值在于:在用户尚未感知到被“限制”之前,就已经完成了风险的柔性化解。相比一刀切式的突然降温,用户留存自然会更好。

四、中小团队的轻量化落地路径

如果你是一个小型情感AI团队,没有专门的算法工程师来搭建复杂的情绪识别模型,可以考虑先用一套“规则+模板”的轻量化方案来落地:

第一步,建立分级情感话术库。 将现有AI的回复话术分为安全、轻度、禁用的三级词库,配置不同的调用权限,从源头控制风险。

第二步,配置Prompt前置护栏。 在AI的系统指令中,直接写入合规约束规则,如“你不可以主动表白”、“你不可以说‘永远’”、“你不可以构建排他性关系”。

第三步,设计简易的用户行为统计面板。 只采集几个核心指标:每日交互时长、深夜活跃时段分布、情感倾诉占比变化趋势。不需要复杂的趋势分析算法,先让数据能被看到。

第四步,上线2小时强制提醒与AI身份标注。 这是法规的硬性要求,开发成本最低,但合规价值最高。弹窗文案可以简洁直接:“您已连续使用较长时间,建议暂停休息。AI服务无法替代现实社交与专业心理咨询。”

第五步,搭建基础的审计日志与申诉通道。 所有分级干预记录、重度依赖标记、心理危机对话均自动归档独立审计日志,按用户ID和时间轴分类存储,确保监管抽查时可一键导出完整证据链。同时,在对话侧增设简单的“申诉反馈”入口:若用户认为AI过度限制了正常倾诉,可提交人工复核。这既是用户体验的兜底机制,也能帮助团队持续优化判定规则的准确性。

五、结语

合规与体验从来不是对立面。真正好的合规设计,不是让AI变得冰冷,而是让AI用更安全的方式,传递恰到好处的温度。

在产品定位上,也可以做一些思考:合规前提下的情感AI,更适合定位为短时情绪疏导工具,而不是长期专属陪伴伴侣;可以增加心理科普、线下活动推荐等正向价值板块,靠真正的用户价值来留存,而不是靠深度情感绑定来提升时长。

最后补充一句:若产品保留用户自定义角色功能,需在角色创建阶段前置风险分级——禁止用户设置恋人、伴侣等人设;允许情绪树洞类人设,但强制绑定本文全套分层情绪风控规则。这套逻辑和第一篇大厂下线UGC智能体、第二篇未成年人刚性防护,共同构成完整的合规产品体系。

我把这套分层情绪风控引擎的完整产品架构、分级话术库的设计思路、以及用户依赖风险量化体系的PRD参考框架,都整理进了全套合规架构文档中。需要的话,评论区回复【合规】,我发给你。

你们产品整改后是直接一刀切过滤情感话术,还是做了分层柔性风控?有没有遇到用户大规模流失的情况?欢迎在评论区分享落地踩过的坑。

本文由 @AI合规研究者 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!