同一个模型,三个月后,两个团队活在两个世界

0 评论 27 浏览 0 收藏 9 分钟

同一套大模型技术,为何在售后与销售团队产生截然不同的效果?本文通过真实案例揭示AI应用的关键法则:不是追求技术极限,而是精准划定人机协作边界。从客服分类的克制设计到销售话术的致命缺陷,解密‘驾驭工程’如何让AI真正成为业务增长引擎。

我们公司有两个业务线,几乎同时接入了同一个大模型。算力一样,版本一样,上线时间差不了几周。

三个月后,我去看数据,有点懵。

售后团队,用户满意度评分持续上涨,投诉率明显下降。销售团队那边,AI辅助的转化率比人工还低,销售同学开始绕过系统直接打电话,那套花了不少资源搭起来的智能辅助,基本上形同虚设。

同一个模型。为什么?

我们去拆原因。

售后团队的负责人,是我一个做了多年客服运营的同事,我们叫她张姐。她没系统学过大模型,也没研究过什么提示词工程。但她设计的用法非常克制——克制到我第一次看到的时候,内心觉得:这有点太保守了吧?

她没让AI去”解决用户问题”。她让AI做的事只有一件:判断用户这条消息,是情绪投诉、功能咨询,还是退款诉求。判断完,系统推一张处理建议卡,最终怎么回,由人来决定。

AI是副驾驶,人是司机。就这一句话,她的整套逻辑就说完了。

销售团队的负责人王哥,技术背景很强,对模型能力非常有信心。他的方案听起来效率更高:AI直接生成完整的销售话术,销售同学复制粘贴发出去就行。

三个月后,系统没人用了。

原因是什么?销售场景有一个客服场景没有的变量:客户的情绪和节奏是动态的,而且每一秒都在变。模型生成的话术,是基于对话记录的静态推断——它不知道这个客户刚才被另一个销售骚扰过,不知道他已经很接近成交只差一个细节,也不知道今天行业出了一条新闻让他多了一层顾虑。

销售同学发出去那条”AI生成的标准话术”,客户感受到的是冰冷和机械,之前建立的信任感在那一条消息里碎掉了。更糟的是,等AI生成这个动作本身就打断了销售原本流畅的节奏。他们开始不信任系统,绕过它,数据越来越差,最后变成死循环。

从提示词工程到驾驭工程

后来我在行业交流里听到有人讨论一个概念:驾驭工程(Harness Engineering)。

说的是:不要优化AI的大脑,要优化AI工作的环境。核心哲学就八个字——人类掌舵,智能体执行。不是AI代替人,也不是人工完全控制AI,而是一种共舞:人设定方向和约束,AI在这个范围内高效执行。

这个体系有四个支柱。

张姐从来没听过驾驭工程这个词,但她本能地把四件事都做对了。

把规则刻进工具,而不是告诉AI要遵守

张姐的设计里有一个隐形约束:AI只做分类,不做决策。这条边界从系统设计时就划定了,不靠口头告知。

这就是约束机制的核心——不是告诉AI”你只能做这件事”,而是根本就没给它做其他事情的入口。AI犯错之后,系统会自动告诉它哪里错了、怎么改,不需要人工干预。约束机制的价值不是阻止AI犯错,而是让AI犯错之后有路可走。

反馈循环:闭上这个环,才有改进

王哥的方案失败,本质是缺少反馈机制。AI产出了错误的话术,但没有任何东西告诉它哪里错了、该怎么改。问题在循环里积累,最后把整个系统压垮。

驾驭工程对反馈的设计,是这样的:

只有前馈(规则+文档)没有反馈,AI会重复同样的错误;只有反馈没有前馈,AI不知道规则是什么。两者结合,才能形成自动改进的闭环。

张姐的系统里,每张处理建议卡的效果都是可追踪的——用了这张卡之后,投诉有没有解决。这是最简版的反馈循环,但她做到了。

两类人用同一个模型,结果差一个数量级

我们自己团队里就发生过这样的事。

当时在做一个AI写作辅助功能,帮运营同学生成推广文案。两个人给出了两套方案。

一个是Prompt工程师。他花了两周,打磨出一套非常精良的prompt——有角色设定,有格式约束,有正反案例。我当时看到那份调试记录,说实话是佩服的,光版本迭代就有几十个。生成的文案内部评审给了高分。

另一个产品同学,我们后来内部叫他”Harness工程师”,他自己从来没用过这个词。他的prompt说实话有点简陋,但他在产品设计层面做了三个决策。

第一,AI生成文案之后,不直接进发布流程,强制运营同学选一次:接受、修改、还是重新生成。多了一步,但这一步让人始终是决策者。

第二,生成前必须先选渠道、目标人群、核心诉求。不是为了让prompt更好——是逼着运营同学在用AI之前,先完成一次自己的思考。

第三,每次有人选”重新生成”或者大改,系统悄悄记录下来,定期人工复盘——搞清楚是模型问题、场景覆盖问题、还是运营同学自己没想清楚。

三个月后,Prompt工程师的方案一遇到新渠道、新品类就得找他重新调,系统对他产生了强依赖,他陷入了”永远在调参”的状态。另一边,那个坏案例收集入口积累了将近两百条真实反馈,让我们第一次看清楚运营同学的需求盲区在哪。这些数据,后来成了整个产品下一阶段迭代的核心输入。

最后想说的

驾驭工程的本质,不是让模型做得更多,而是让模型做它该做的那一段。

张姐能做对,不是因为她懂技术,而是因为她太懂她的场景了。她知道客服这件事里,什么是稳定的(问题类型的分类逻辑),什么是动态的(每个用户的情绪和具体诉求)。所以她本能地让AI只碰前者。

这种判断力——你对业务场景里”哪些事情适合AI做”判断得有多准确——我越来越觉得,才是AI时代产品经理最难被替代的东西。你对模型能力边界的感知有多细,你的产品设计就有多稳健。

同一个模型,不同的产品设计,三个月后是两个完全不同的世界。

差距不在模型,不在算力,不在谁的技术更强。差距在于:你有没有把AI放在一个它能赢的位置上。

本文由 @凹凸曼 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!