一个Demo惊艳全场、两周后被叫停的Agent项目

0 评论 239 浏览 0 收藏 15 分钟

Agent 项目的失败率高达 90%,但真正的问题不在于技术本身。这篇文章深入剖析了一个真实案例:Demo 惊艳全场却在真实场景中黯然下线的 Agent 项目。从过度理想化的用户交互设计,到忽略多步任务的累积错误率,再到无人敢碰的责任归属问题,作者用血泪教训揭示了 AI 产品落地的三大致命误区。更值得深思的是,这些教训背后指向的是整个行业被 Demo 文化扭曲的产品判断力。

去年底我经手的一个 Agent 项目,黄了。

立项的时候特别热闹。老板在群里发了一段硅谷某公司的演示视频,一个 Agent 自己订机票、自己填报销、自己把流程跑完,全程没人插手。他说,这个我们也能做,而且要做得比他们快。

我们真就三个星期搭出来一个 Demo。给业务方演示那天,效果好得吓人。你跟它说”帮我把上个月华东区的销售数据拉出来,做成周报发给张总”,它真的一步步做完了,SQL 自己写,图自己配,邮件自己发。会议室里有人当场鼓掌。

然后我们信心满满地拉了五十个真实用户灰度。

两周后,这个项目被叫停了。

不是模型不行。模型该会的都会。是我们发现,那个在会议室里惊艳全场的东西,一放到真实业务里,就跟换了一个物种一样。

那段时间我特别难受,跟三年前做客服机器人那次一模一样——评测集跑到 92 分,上线第二天投诉爆了。当时我以为那是个孤例,现在做 Agent 又栽一遍,我才慢慢想明白,这根本不是运气问题,是我们对”AI 产品能不能用”这件事的判断方式,从一开始就有毛病。

这篇就把这一年踩的坑,攒一块儿聊聊。没什么体系,就是些经验教训。

先说那个吓人的数字

如果你最近有在看行业消息,大概率刷到过几组数据。

麦肯锡的调研说,超过 90% 的企业 Agent 项目,在试点阶段就宣告失败。硅谷那边更狠,2025 年底到 2026 年初,生产环境里的 Agent 项目失败率据说到了 95%。Gartner 也放话,说到 2027 年,四成以上的 Agentic AI 项目会被直接砍掉,原因是成本收不回、价值说不清、风险控不住。

第一次看到这些数字,我是有点不服气的。90%?这么夸张?

但真自己趟过一遍,我信了。而且我觉得这个数字里最值得说的,不是”失败率高”这件事本身,是大家失败的方式,长得都差不多。

Gartner 那份报告里有句话我记到现在,大意是:现在绝大多数 Agent 项目都还在实验阶段,它们大多是被炒作推着走的,而且经常被用错地方。

被炒作推着走,被用错地方。这两句,基本就是我那个黄掉的项目的墓志铭。

我个人对这种整数一直是半信半疑的——90% 听着就像是为了唬人凑出来的。但趟过一遍之后,我信的不是这个数,是它背后那句更扎心的判断:死掉的那批项目,绝大多数不是败给模型,是败给了立项那天拍脑袋的乐观。这话可能得罪不少人,可我自己就是那个拍脑袋的人之一,没资格站着说话。

翻车的第一层:我们把 Agent 当成了一个”会聊天的人”

复盘的时候我问自己,Demo 那天到底哪里骗了我们。

后来想明白了。Demo 那天,是我们这些做产品的人,坐在那儿,用最规范、最清楚、最”善解人意”的方式在跟它说话。

“帮我把上个月华东区的销售数据拉出来”——这句话干净得不像话。时间明确、地区明确、动作明确,连数据在哪张表里我们心里都有数。Agent 在这种输入下表现好,太正常了。

真实用户是怎么说的?

“上个月那个东区的数据给我搞一下。”

哪个东区,华东还是华东某个省?”搞一下”是拉出来看看,还是做成报表,还是直接发出去?”上个月”是自然月还是他们财务口径的上月?他自己都没说清楚,甚至他自己都没想清楚。

Demo 里的用户,是我们脑补出来的一个理想用户。真实用户是野生的。这中间的差距,模型再聪明也补不上,因为这压根不是模型的问题,是我们把一个”需要反复澄清、经常改主意、说话还带情绪”的真人,简化成了一个”发指令的按钮”。

我以前写过一句话,说评测集跑得好,更像是模型在温室里能开花,产品行不行,得看它在野地里能不能活。做 Agent 之后我发现,这句话还得再狠一点:Demo 就是那个温室,而且是温室里最向阳的那个角落。

翻车的第二层:能跑通一次,和能一直干对,是两回事

Agent 跟传统的问答产品比,最要命的地方在于,它是真的会动手去做事的。

问答产品答错了,用户顶多骂一句,重新问一遍。Agent 做错了,是真的把错的邮件发出去了,真的把不该删的数据删了,真的按错误的参数下了单。

我们那个项目就吃过这个亏。有个用户让它”把这条记录删掉”,它删了。但用户说的”这条”,指的是他上一句提到的另一条,代词指错了。Agent 没有任何迟疑,动作干净利落,错得也干净利落。

这就引出一个 Demo 阶段根本暴露不出来的问题:一个动作,Agent 跑通一次的概率是 95%,听起来很高吧?可一个真实任务往往要连着做五六步。0.95 的五次方,大概是 77%。也就是说,每四个任务里,就有一个会在某一步崴脚。而且这一步崴了,后面全废。

用户不会记得你前四步做得多漂亮。他只记得,你把周报发给了错的人。

这里插一句我自己的看法。95% 这个单步成功率,很多人会拿去跟老板汇报,说你看我们已经很稳了。但我现在的习惯是,谁跟我报单步成功率,我都让他先把任务拆到底有几步,再把那几个数乘一遍给我看。乘完往往就没人敢拍胸脯了。这个乘法我是栽了跟头才养成的习惯,之前我也只盯着单步那个好看的数字。

Demo 那天我们只演示了那些能一次跑通的路径。我们不是故意的,是人的本能——谁演示的时候会专门去点那些会出错的地方。可真实用户天天在点。

翻车的第三层:出事了,算谁的?

这是我觉得最没人愿意认真聊、但最要命的一层。

传统软件出了 bug,责任链条是清楚的。是代码的问题,修代码;是用户操作失误,那是用户的事。可 Agent 不一样。它有一定的自主性,它会”自己决定”下一步干什么。那当它自己决定错了,把一笔钱打错了地方,这个锅谁背?

是模型供应商?人家会说我只提供能力,怎么用是你的事。是做产品的我们?我们会说用户自己确认过了。是用户?用户会说这不是你们说 AI 能自动搞定的吗。

我们项目还没上线到要处理真金白银,就已经在内部为这个吵起来了。法务问了一句:”如果它自动操作出了错,公司要承担什么?”整个会议室安静了几秒。没人答得上来。

现在行业里有个说法我挺认同,说 Agent 产品的设计逻辑,正在从”它能不能执行”,变成”它执行的时候谁负责”。以前我们比谁的 Agent 更能干,以后可能得比谁的 Agent 出了事更好追责、更好回滚、更好拦住。

这事儿特别不性感。发布会上没人愿意讲审批阈值、讲操作留痕、讲一键回滚。但恰恰是这些上不了台面的细节,决定了一个 Agent 项目在企业里能不能活过三个月。

那个演示视频里,Agent 一路畅通无阻地把活干完,没有一个确认弹窗。当时我们觉得,这才叫丝滑。现在我觉得,那视频里最危险的,就是那份丝滑。

那 Agent 到底还做不做?

做。这点我从没动摇过。

我不是来唱衰的。我自己每天都在用各种 Agent,也确实离不开了。90% 失败,反过来说也有 10% 活下来了,而且活下来的那些,是真的在给业务省钱、省人、省时间。

我只是觉得,那 90% 死得挺冤,因为它们大多不是死于技术,是死于一开始就没想清楚几件事。做废了这个项目之后,我给自己攒了几条,下次立项前一定要先过一遍。

第一,先问这个场景到底容不容错。 有些场景天生适合 Agent:内部的、只读的、错了也能马上改的,比如查数据、拉信息、生成草稿。有些场景现在就别硬上:对外的、要动钱动权限的、错一次就是事故的。我们那个项目最大的问题,就是一上来就挑了个又要写数据又要发对外邮件的硬骨头。

第二,别拿 Demo 骗自己,也别拿 Demo 骗老板。 Demo 阶段就得主动去点那些会出错的路径,用真实用户那种”没说清楚、带着情绪、中途改主意”的方式去折磨它。能扛住这个的,才值得往下做。演示要演脏活,不能只演漂亮活。

第三,把人留在关键动作那一步。 全自动是最诱人的,也是最容易翻车的。真正能落地的做法,往往是让 Agent 干前面九步,最后那步”要不要发出去””要不要真的删”,交回给人点一下。慢一点,但活得久。

第四,责任这道题,立项时就得答,别等出事再答。 谁负责、怎么留痕、怎么回滚、出了错走什么流程——这些不是上线前才补的东西,是决定这个项目该不该做的前提。

第五,盯真实的账,别盯 Demo 的掌声。 上线之后别只看它跑通了多少次,要看真实任务的最终完成率、人工介入率、出错之后的挽回成本。这些数字通常没 Demo 好看,但它们才是真的。

最后说点掏心窝子的

写到这儿,其实我想说的已经不只是 Agent 了。

做 AI 产品这几年,我越来越觉得,我们这些做产品的人最该警惕的,是被 Demo 惯坏了的判断力。Demo 是一门表演艺术,它天生就是用来展示最好那一面的。可用户不活在 Demo 里,用户活在那些没说清楚的需求、指错的代词、突然的改主意、还有点错按钮之后的懊恼里。

那 90% 翻掉的项目,我猜背后都有一个当初被 Demo 惊艳到、然后一头扎进去的团队。我就是其中之一。

现在再有人给我发那种一路顺到底的演示视频,我第一反应不再是”我们也能做”,而是”它是在什么样的输入下跑成这样的,换成我那些野生用户,它第几步会崴脚”。

这个转变,说实话,是拿一个黄掉的项目换来的。不便宜。但我觉得值。

那些真正能活下来的 AI 产品,背后大概率不是有个更聪明的模型,而是有一群人,肯很笨地去看真实用户到底在拿这玩意儿干什么、在哪一步骂了街、又在哪一步真的把事办成了。

这事儿,Demo 替不了。

本文由 @溪居即事 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!