这篇文章主要面向运营人员（包括训练师、标注人员等），分享一些优化机器人客服效果的方法论，欢迎各位同行交流指正。

客户的投诉率上升，这是很多大型企业在进行客服中心智能化改造时顾虑的因素。

机器人客服，尤其是语音方向，对应答的准确性、自然程度有较高的要求，否则会出现机器人自说自话、转人工率过高等情况，非但没有减轻人工客服的压力；反而导致投诉变多，舆论压力大。如果机器人效果优化不上去，还不如用人工。

语音类比文本类机器人客服多用了一些技术，如ASR、TTS。目前市场上拟人度高的TTS音色有很多，如果希望效果更好，就用录音+TTS方式处理客户信息等变量。这里和机器人识别效果提升无关，就不多展开了。

一、ASR优化

ASR是机器人应答准确率的第一道门槛。

客户电话进来的语音由ASR转写成文本，才会交到语义识别模块进行分析，如果连耳朵都听错了，就别怪大脑理解不了。

目前，主流厂商通用模型的语音识别准确率虽然很高，但实际落地后，都会受到领域、噪声、口音等问题削弱效果，实际字准确率不大于80%。

运营人员一般是从两个方面做优化：

1. 语言模型

使用与自己场景相关的文本数据训练模型，如快递行业“包裹”VS教育行业“包过”，或者不易识别的领域专有名词，如“蚂蚁借呗”。

这个方法比较普遍，训练效率较高（分钟级），运营人员可以在机器人上线前把所有问答话术提供给算法工程师或者ASR提供商，灌到模型中训练。平时日常监听也可以及时纠错，会提升对特定词汇的识别率。

2. 声学模型

根据统一规范，在保证标注准确的情况下，可不断积累训练数据。运营人员提供上百小时的音频及对应的正确文本，用来优化声学模型。

这个方法训练时间较长（按天计算），且对模型训练的机器有较高要求，成本较高。

注：

• 声学模型训练集中可以分出一部分数据生成测试集使用，这样可以快速检测模型优化效果，不用等到上线之后。靠人为测听上线之后的效果，没有数字支撑、无法保证复现，效率较低。
• 这两种方法没有冲突，运营人员可结合实际情况进行选择。
• 产品层面也可以做一些优化功能，方便运营人员进行标注及测试，减少线下工作。

二、语义识别的优化

1. 如何发现问题？

耳朵听清楚了，大脑也要聪明。

目前行业内主流的客服机器人大多用“语义理解+正则匹配”的方式做识别。

那么，如何发现机器人的语义识别问题？

这里分为两种情况：机器人知道自己“错”了，和机器人觉得自己没“错”。

1）机器人知道自己“错”了，表现在拒识或没有直出答案的情况，具体指标体现在置信度或匹配度没有到达规定的阈值。此时运营人员根据数值，可以比较有针对性地进行查看及优化。

这里的错不完全是匹配问题，拒识，不一定是坏事。当客户问起和业务毫不相关的问题，机器人完全可以用拒识对应的话术来减少与客户没必要的周旋（闲聊机器人除外），所以一些用户问我们完全可以当做拒识处理。

2）机器人觉得自己没“错”，表现在机器人可以回答问题，但却不是客户想要的答案，具体参考指标为点踩率（不带语音）、转人工率等。

但如果用户没有任何满意度反馈，此时就要借助人工进行检测，通过查看对话记录，进行对每句问题的质检。一般数据量较庞大时就以抽检的方式，目的主要是修正错误答案并拿到精确的统计数据，具体输出的指标有精准率、召回率等。根据数据，运营人员可以直观看到效果好坏。

2. 如何针对问题优化？

关于优化，每家都有各自的方式，需要注意的是，标注时遇到模棱两可的问题，一定要与团队进行沟通确认，保证意图之间没有重叠及错误。不然越到后期，机器人理解能力也越会遇到瓶颈，外包标注尤其需要规避这点。

3. 如何测试优化效果？

语义识别的测试，可以直接用测试集进行文本测试，机器人答对了代表测试通过，答错了继续补充。这里运营人员在编写测试集的时候，尽量避免和训练集相似度太高，保证最终模型的泛化能力。

在整体测试的时候，是盲测好，还是提前限定好范围去问呢？

举个例子：

在语音外呼场景中，话题一般不是开放的，可能通篇只围绕一件事，比如催收。此时面向的客户，接听电话也基本是按照机器人引导方向去回答。此时可以按照写好的“剧本”进行呼测，而不需要特意测试一些和场景无关的问题。

总之，测试方式要按照实际的应用场景选择，可以起到事半功倍的效果。

除了语义识别可以优化，通过路径流量分析、对话轮次、客户画像等，我们也能检测到对话的健壮性和话术设计的是否合理。

上线后，可以把优化前后的机器人做个AB test，根据几个运营指标和质检指标，进行评定。

三、结尾

总结一下，运营人员可以通过工具和统计数据，系统地对机器人进行分析和优化。还有一个好处，就是可以从数据中不断发现新的运营方法论。反之，应尽量避免像黑盒一样，纯靠测听修改。

写到最后，如果这篇文章对产品经理们也有所启发，希望大家可以尽量为运营人员提供方便好用的优化工具。

标注测试是一项枯燥乏味的工作，但却对提升机器人效果有着至关重要的作用。我们要尽可能地多倾听运营同事的需求，结合AI帮助他们让自己的工作更加精细化、专业化，才会让机器人客服的市场更加蓬勃发展。

本文由 @PhoebeFeng 原创发布于人人都是产品经理，未经许可，禁止转载

题图来自 Unsplash，基于 CC0 协议