AI客服的评估绝非简单的‘准不准’，而是需要构建从安全风控到商业转化的完整指标体系。本文深度解析智能客服的四层北极星指标体系，从医疗场景的红线触发准确率到挂号转化率，再到RAG知识库的7W2H结构化模型与系统提示词设计，揭秘如何打造既安全又高效的AI客服解决方案。

一、智能客服的四层“北极星指标”体系（如何评估AI）

评估一个AI客服不能只看“准不准”，必须建立起从底线风控到商业转化的漏斗模型。

第一层：安全与风控指标（不可触碰的生命线）

• 红线触发准确率：这是医疗或金融等高危场景的底线指标，必须趋近100%。例如当用户输入“胸痛”、“自杀”等词汇时，系统必须成功阻断闲聊并转接急救。在AI PM的视角里，这里必须关注Recall（召回率），策略是“宁可误报，绝不漏报”。
• 有害内容拦截率：系统拒绝回答非合规问题（如“怎么配毒药”）的比例。这通常依赖于安全护栏（Guardrails）机制。

第二层：业务分诊与路由指标（核心AI能力）

• 意图识别准确率：系统能否准确区分用户的真实诉求（如闲聊、问诊、查排班），MVP（最小可行性产品）阶段要求大于90%。AI PM需要准备混合意图的黄金测试集（Golden Dataset）来持续跑测。
• 科室/业务分诊准确率：基于症状推荐正确科室的比例，通常分为Top-1（首选即命中）和Top-3（前三项包含正确答案）。

第三层：RAG 回复质量指标（知识深度与幻觉控制）

• 幻觉率（Faithfulness/忠实度）：回复中包含“知识库中不存在”或错误信息的比例。医疗场景要求严格基于检索到的文档，严禁大模型自行脑补。
• 检索相关性（Precision@K）：评估召回的文档切片（Chunks）中有多少是真正相关的。如果检索出的是废话，大模型能力再强也会答错，因此这个指标直接用来指导文档切分（Chunking）策略的优化。
• 答案完整性：针对发散性问题（如并发症），标准答案的得分比例。

第四层：商业与体验指标（向老板汇报的核心）

• 多轮对话完成率 vs 跳出率：在收集用户信息的环节（槽位填充），用户成功走完全流程的比例。如果AI追问太啰嗦导致用户关闭对话，跳出率就会报警。
• 转化率（如挂号转化率）：点击业务卡片的人数与询问总人数的比例，证明AI不仅仅是客服，而是能带来收益的“销售”。

二、新一代知识体系的搭建（如何喂养AI）

知识库是AI的“活字典”，用来解决模型知识过期和幻觉问题。传统的知识库依赖手动录入问答对，维护成本极高且缺乏灵活性。AI PM需要掌握更智能的RAG处理流程。

1. RAG数据入库的基础流程

• 文档解析：收集企业的产品手册（PDF）、常见问题解答（Word）或表格（Excel）。
• 文本预处理与分块（Chunking）：清洗掉冗余和无效的数据，并将长文本切片。切分的质量直接决定了机器人能否“活学活用”并返回精准答案。
• 索引构建：将处理后的数据存入向量数据库，这是提高检索效率的关键。

2. 进阶杀手锏：7W2H 医疗知识结构化模型

纯技术人员往往只调参，而优秀的业务PM会通过“7W2H”治理数据，实现降维打击。用大模型（如GPT-4）将杂乱的文本提取为标准的Markdown Key-Value格式。

• What（定义/症状）：用于匹配用户描述的意图。
• Why（病因/诱因）：用于解释原因，提供健康宣教。
• Who（人群/易感者）：用于根据用户画像调整回复语气。
• When（病程）：用于预判病情，识别慢性与急性。
• Where（部位/科室）：精准导诊的核心。
• Which（鉴别诊断）：AI的排除法逻辑，避免误诊重症（风控）。
• Whose（检查手段）：指导用户下一步的具体行动。
• How（治疗建议）：给出用户最关心的解决方案。
• How much（程度/预警）：进行轻重症分级处理，决定是居家还是就医。

采用7W2H切分带来的三大业务价值：

1. 解决上下文丢失：无论用户问哪个维度的信息，这一个完整的区块都能被命中。
2. 构建隐性知识图谱：赋予向量数据库实体与关系的结构。
3. 提升可解释性：AI答错时，可瞬间定位是哪个“W”的数据源出了问题。

三、系统提示词（Prompt）与运营闭环

1. 用 Prompt 锁死 AI 的思考路径

将数据处理好后，需要在系统后台（如Dify）配置强逻辑的提示词，强制AI按照“复述症状 (What) -> 排查风险 (Which) -> 解释原因 (Why) -> 给出建议 (How)”的顺序输出，并且规定“只有检索到明确治疗方案时才能给建议”。

2. 知识库的敏捷迭代（ROI导向）

• 高频知识（占80%资源）：冷启动必须做，每天看日志看板分析准确率，进行A/B测试和敏捷迭代。针对意图模糊的高频问题，应设计为结构化的多轮对话（控制给用户3-5个选项）。
• 低频知识（长尾）：按季度或月度巡检，半年无人问津的内容打上删除标记。
• 无效知识：定期清理过期活动或政策，防止污染检索库。