大模型进厂三年记:我们高估了技术,低估了人

0 评论 442 浏览 1 收藏 17 分钟

2024年大模型进入企业市场的狂欢背后,藏着多少真实的使用困境?从Demo惊艳到上线冷清,再到项目无声消亡,一位亲历者用三年时间揭开了企业AI转型的残酷真相——当技术狂奔遇上组织惯性,那些被忽略的用户采纳率指标正在成为AI产品的生死线。

2024年春天,我第一次去客户现场做AI产品的需求调研。

那是一家能源集团的总部,会议室很大,长桌能坐二十个人。甲方来了七八个人,从信息中心到业务部门到分管领导,还有一个我后来才知道是外聘的AI顾问。会议刚开始,分管领导说了句让我印象很深的话:”集团今年的战略里写了AI转型,你们看看怎么落。”

就这么一句话。没有具体的业务痛点,没有明确的需求场景,甚至没有说清楚”AI转型”到底是什么意思。但预算已经批了。

那是2024年,大模型进入企业的第一年。回头看,那一年几乎所有人都处在一种奇怪的状态里:兴奋、焦虑、跟风,但说不清楚到底在兴奋什么。

我做企业AI产品到现在快三年了。从2024年的需求调研到2025年的项目交付到2026年的复盘清算,差不多完整经历了大模型进入企业的每一个阶段。怎么说呢,跟外面看到的叙事很不一样。外面的叙事是:AI越来越强了,企业纷纷拥抱,效率大幅提升,未来已来。我在现场看到的是另一个故事。

先说2024年。

2024年是POC之年。POC就是概念验证,说白了就是”先试试看”。那一年我接触的每一个甲方,开口第一句话几乎都一样:”你们能不能做个Demo给领导看看?”注意,是给领导看,不是给业务部门用。

这个区别很重要。给领导看的Demo追求的是震撼效果——AI两分钟生成一份报告,哇好酷。给业务部门用的产品追求的是真的能帮上忙。这两件事差得很远,但2024年没人在意这个区别。

我们当时给那家能源集团做了个Demo,让AI辅助生成可研报告的某一章。演示效果很好。大屏幕上文字一行一行往外蹦,引用文档、行业数据、政策法规,格式都对。演示完全场安静了两秒,然后分管领导说了句”挺好的,推进吧”。

我当时真觉得成了。

那一年几乎所有人都觉得”成了”。投资人觉得成了,给AI创业公司疯狂砸钱。大厂觉得成了,成立AI事业部招兵买马。甲方觉得成了,一个个立项签合同。2024年做ToB AI的人应该都有体感——商务很好做,客户自己就冲上来了。

但有一件事当时没人在意:几乎所有的”成功”都发生在会议室里,发生在Demo环节,发生在PPT上。没有人去问:这个东西上线之后,业务部门的张三和李四到底会不会用?

2025年,答案来了。

2025年是交付之年。2024年签的项目,2025年要上线。这一年我的体感是:从天堂掉到了地面。不是地狱——地面就够难受了。

那个能源集团的项目,我们花了大半年做开发、做调优、做测试,终于上线了。上线第一天我很紧张,盯着后台数据看。第一周二十几个人登录了。第二周十六个。第三周九个。一个月之后稳定在五个人左右。总共部署了三个部门几十号人,最后日常在用的就那么几个。

我那段时间特别焦虑。跑去问业务部门的人为什么不用。得到的回答五花八门。有人说”生成的东西不够专业,还得自己大改,不如直接写”。有人说”我不知道AI引用的数据靠不靠谱,不敢直接放报告里”。有一个老研究员更直接,他说”我用这个系统花的时间比自己写还多,你让我为什么用?”

说实话那段时间我挺沮丧的。白天在客户现场被各种质疑轰炸,晚上回到酒店翻后台数据越看越难受。有一个晚上我跟同事打电话,对方问”项目怎么样了”,我说”技术上没问题,但好像没人愿意用”。电话那头沉默了几秒说了句”那不就是有问题嘛”。

对。好像没人愿意用,就是最大的问题。

2025年这种故事不是个例。我后来跟同行交流,发现几乎所有做ToB AI的人都在经历类似的事情:Demo阶段全场鼓掌,上线之后用户用脚投票。有一个做法律AI的朋友跟我说,他们的系统上线三个月后,客户的律师团队发明了一套”绕过AI”的工作流程——就是发现不用AI反而更快之后,大家自发地绕开了系统,但没有人跟领导说。系统显示”活跃用户12人”,实际上那12个人只是每天登录一下就退出了,因为领导会看登录数据。

你看,2024年大家在演Demo,2025年大家开始演使用量。表演的内容变了,表演这件事本身没变。

到了2026年,事情开始分化了。

分化的意思是:少数项目活下来了,大多数项目安静地死了。活下来的和死了的之间,差别在哪?这是我2026年一直在想的问题。

先说死了的。死法各不相同,但我观察下来大概就两种。

第一种是”预算到期自然死”。很多企业AI项目的预算是一年一批的。2024年立项,2025年交付验收,2026年预算期到了,二期没人申请。没人申请不是因为系统不好——好不好根本没人评估过——是因为当初推这个项目的那个人调岗了,或者集团战略方向变了,或者纯粹是没人愿意再花精力去跟领导汇报”我们的AI项目需要继续投入”。你得理解,在大企业里,推一个新项目和维持一个旧项目需要的政治能量是不一样的。推新项目有光环,维持旧项目是琐事。所以很多项目不是被否决的,是被遗忘的。

第二种是”用了但没人觉得好用然后慢慢放弃”。这种更可惜。系统确实在运转,也有人在用,但用户体验始终没过那个临界点——就是用户觉得”用AI比不用AI划算”的那个点。他可能还是每天登录系统,但大部分内容是自己写的,AI生成的部分改得面目全非。时间久了他就烦了,觉得”我在给AI当老师”,干脆不用了。这种死法最安静也最残忍。

活下来的项目呢?我仔细想了想我见过的案例,发现它们有一些共同点,但这些共同点可能跟你想的不一样。

活下来的项目,模型不一定是最好的。有一个做政务AI的项目用的模型版本还挺老的,但他们的知识库建设做得特别扎实——所有的政策文件都按条款级别做了结构化,每一条都标注了适用范围、生效日期、关联条款。模型能力一般,但因为”喂进去的东西是对的”,输出质量反而很好。用户觉得靠谱,就一直用。

还有一个做合同审核的项目,活下来的原因更有意思。他们的产品经理——不是我,是另一家公司的——在项目早期就做了一件事:跟客户约定了”采纳率”的指标,写进合同里。这个指标逼着整个团队不能只管交付不管好用。后来我听说这个项目的采纳率从最初的四十几做到了七十多,中间花了好几个月。但客户确实在用,而且续签了。

我从这些案例里看到的规律是:活下来的项目都做对了一件事——把注意力从“AI能干什么”转移到了“用户愿不愿意用”。听起来像废话对吧。但你去看看2024年那些立项书、需求文档、技术方案,里面有多少篇幅是关于”模型选型””技术架构””功能清单”的,又有多少篇幅是关于”用户工作流””使用场景””成功标准”的。前者占九成,后者占一成。甚至很多项目根本没有后者。

大模型进厂这三年,最贵的学费不是砸在模型上的API调用费,是砸在”做了一个没人用的系统”上的机会成本。一个企业AI项目从立项到上线,半年到一年,投入几十万到几百万不等。如果上线之后日活是个位数,那这笔钱的回报率是零。但比钱更贵的是时间——业务部门陪你折腾了半年,最后得出结论”AI不好使”。这个结论一旦形成,下次你再想推AI项目,阻力会大十倍。

2026年了,我现在跟新客户聊的时候发现一个变化:甲方变谨慎了。2024年是”我们要上AI”,2025年是”你们能做什么”,2026年变成了”上一个供应商做的我们不太满意,你们有什么不同”。你能感觉到经过两年的折腾,甲方的期望从”AI好厉害”变成了”AI到底能不能帮上忙”。这个变化是好事,说明市场在理性化。但也意味着做这行的人必须拿出真东西——光靠Demo不行了,你得证明你的系统真的有人用、真的有效果。

模型层面,2026年的变化也很明显。2024年的时候大家还在纠结”用GPT还是用国产模型”,现在主流模型的能力差距越来越小。文本生成、知识问答、代码编写,各家都到了一个不错的水平。模型变成了一种基础设施,就像云服务器一样——你不会因为用了阿里云还是腾讯云而赢得客户,客户关心的是你在云上面盖了什么。

这个变化带来一个后果:以前可以靠”我的模型更聪明”来赢单,现在不行了。竞争力从模型层转移到了应用层——谁更懂行业、谁更懂用户、谁的知识库建设做得更好、谁的交互设计更贴合用户工作流。说白了就是”脏活累活”。调提示词、清洗知识库、坐在用户旁边看他们怎么用——这些事不性感,不会出现在发布会上,但这些事决定了AI产品到底好不好用。

我有时候跟做模型的朋友聊天,他们关心的是benchmark排名、推理速度、上下文长度。我关心的是”研究员看到AI生成的内容会不会皱眉头”。我们好像在做同一个行业,但看到的是完全不同的东西。他们看到的是技术前沿在飞速推进,我看到的是企业现场的推进速度慢得让人着急。这两个速度之间的差距,我感觉这三年不但没有缩小,反而在变大。

你可能会问:那怎么办?

说实话我也没有一个完整的答案。但有几件事我比较确定。

第一件事是:企业AI项目的成功标准得重新定义。

现在大部分项目的成功标准还是”功能交付完成、验收通过”。这个标准对传统软件够用,对AI产品不够。AI产品的输出是不确定的,今天生成得好不代表明天也好。你得用统计指标来衡量——采纳率、留存率、工时对比——不能用清单打勾的方式。

第二件事是:做企业AI产品的人得改变自己的时间分配。

我观察到一个规律:大部分AI产品团队把八成时间花在”让AI更聪明”上——调模型、优化提示词、加功能。只有两成时间花在”让用户更信任”上——做溯源标注、优化交互流程、建反馈机制。但从我的经验看,后者对采纳率的拉动远远大于前者。模型从80分调到85分,用户可能感觉不到;加一个溯源标注功能,用户敢用了,采纳率能跳一个台阶。

第三件事比较虚,但我觉得很重要:这个行业需要更多的耐心。

2024年所有人都太急了。觉得AI一来,效率翻倍,颠覆行业。然后2025年发现不是那么回事,又开始焦虑——是不是模型不行?是不是场景选错了?是不是该换个方向?

其实可能都不是。可能只是这件事需要的时间比我们想象的长。让一个行业真正用起来AI,不光是技术问题,还涉及到组织变革、工作流重塑、人的习惯改变。这些东西不会因为你的模型升级了一个版本就自动发生。

我在2024年那间会议室里听到”集团今年的战略里写了AI转型,你们看看怎么落”的时候,心里想的是”好的我来搞定”。现在回想起来,这句话里藏着这三年所有问题的种子——没有具体需求、没有明确目标、没有成功标准、只有一个模糊的方向和一笔已经批下来的预算。

但我也不觉得那个领导说错了什么。他不是AI从业者,他没义务替我们想清楚AI该怎么落地。问题是我们这些做AI产品的人,有没有在拿到这个模糊需求之后,帮客户把它变成一个可衡量、可交付、能真正跑起来的东西。

2024年我们没做到。2025年踩了一堆坑。2026年我觉得有些人开始想明白了,但远远不够。

大模型的能力每几个月就上一个台阶。但企业真正用起来AI这件事,我感觉还在山脚下。路还很长,而且越往上走越不是技术问题。

本文由 @Zoey 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!