避免盲从,AI从认清局限到实战用起来
AI与产品经理的协作边界正在成为行业新课题。数据显示,纯AI方案的采纳率不足20%,而人机协作模式下效率可提升至90%。本文将深度剖析大语言模型的计算局限性与成本陷阱,揭示为何AI始终无法替代产品经理的业务决策能力,并给出三类已验证的高投产比AI应用场景。

在产品经理与其协作上,越来越多的团队意识到:全AI生成的采纳率往往只有10-20%(基本可以说无效),AI初稿+产品经理精修可以达到60%以上,由产品经理草图+AI完善可达到90%以上(且效率极大提升)。找到最佳协作的分界线已成为好的PM的核心能力,另外也可以思考为什么AI达不到产品经理在业务规划中的满意度?
01 AI的局限性
首先,大语言模型本质上只是基于基本数学计算运行的工具,千万不要将其想象成能够完全超越人类智慧的新物种。我始终认为,人类所能认知的事物,基本上都是基于已有知识的外在呈现。只要是依托现有知识构建的事物,就必然存在局限性。到目前为止,人类还无法完全研究清楚几乎99.99%的生物体神经网络系统的运行机制(剩下的基本都是单细胞生物,仅靠应激反应生存)。而数学公式的局限性,就在于其运行过程始终受限于自身的计算公式。在建模时,模型通常只适用于某一特定方向的理想化表达。
这就意味着,一旦脱离这个特定方向,模型的输出就可能不准确;况且,非理想化的场景才是日常常态,在这种情况下,模型出错的概率会大幅增加。
迄今为止,没有任何一个模型能够在现实生活中100%拟合不确定性的空间。如果在局部范围内出现这种情况,只能说明数据量不足。若模型在某一限定范围内的拟合准确率极高,则可判定为过拟合(简单说就是模型“学偏了”,无法适配真实场景),这也意味着该模型是失败的。
从以上分析不难看出,我们在使用大语言模型时,会发现它在某些领域的回答满意度很高,但换个领域或方向,表现就会大打折扣。它在一类常规场景下能给出近乎完美的答案,可在一些特殊场景中,给出的答案却可能错得离谱,根源就在于此。
很多人简单地认为,这是数据量不足或模型驯化不够导致的,这种说法其实非常片面。
很多时候,模型无法给出合理答案,核心问题在于其计算逻辑本身就不适合处理这类场景。而如果要对模型进行调整,代价可能会大到导致整个模型崩盘,这正是大语言模型的核心局限。
用感性思维去理解理性的数学公式,本身就是极其不合理的。就像有些场景下函数呈直线型,有些则呈指数型(当然这只是举例类比,目前LLM中的卷积应用已大致解决了这类适配问题),对于这类场景,模型必然无法实现良好的拟合。
当然,大家通常会用感性的说法来描述这些问题,比如:模型缺乏真正的理解能力和常识、存在幻觉、输出不可靠等等。
其实只要理解了以上这些,就能清楚哪些事情是AI不适合去做的。
02 无法评估的投产比
大家普遍能想到的,是AI在C端业务中的应用,尤其是它的会话能力,很多人认为它非常符合超级助理的定位,但即便如此,这并不意味着它可以应用在所有业务场景中。之前和一位同行PM聊天时得知,在DeepSeek大火的时候,他们很早就在自家的智能问答业务中接入了大语言模型。
他们的领导觉得这个举措非常超前,用户也觉得新鲜,业务参与量翻了好几倍,活跃度一度快速攀升。
业务运营同事也非常高兴,认为这个原本不起眼的板块,直接带动了各项指标的达成。
但好景不长,这个模块很快就被下架了,问题不在于用户不够积极,而是两本实实在在的账单,摆在了大家面前。
经济账本
用户参与热度攀升、积极性提高后,带来的是Tokens的快速消耗(简单说就是AI处理用户对话、文本的核心成本)。参与这个模块的用户,原本可以忽略不计的成本成本飙升。
他们拿到数据看了,甚至有用户直接复制上万字文章来问问题。
有的用户在一个窗口里持续对话可以超过两个小时。
更关键的是,大量无效对话还需要存储起来供后续分析,这也让存储成本成倍增加(尽管业务本身占用的存储并不多)。
这些无法预判的用户使用场景,最终导致AI模型的使用成本完全不可控。
这也就能解释,为什么这么易用的大语言模型,并不是所有平台都愿意面向C端开放。
另外,像京东、天猫这类已经接入AI搜索的平台,大家不妨从产品角度思考一下:它们的AI搜索真正解决了什么问题?又带来了哪些新的问题?
效果账本
至于效果,用他的话来说就是一言难尽。用户在实际使用时发现,模型对有些问题的回答错得离谱,甚至还不如之前做的常规问答小助手好用。
更麻烦的是,用户会不断问一些稀奇古怪的无效问题,AI也会一一给出千奇百怪的答案,不仅投入了成本、耽误了用户时间,还让用户产生了更多困惑。
结果就是反而直接电话客诉的人增加了,大都是说那个模块解决不了自己的问题。
除此之外,即便这个模块解决了一部分问题,但和前期的投入相比,性价比如何,一目了然。
03 可验证的AI在互联网产品中应用
上述情况来看,AI的定位首先是一款工具;而如何运用这款强大的工具,在业务中创造更高的效能,才是关键所在。以下是几类大家应用后讨论共识的部分:
① 策略类应用:AI强大的逻辑推理能力,能有效提升匹配准确率。以前需要投入巨额成本自研推荐、搜索策略,如今只需极低的成本和简单的操作,就能完成策略类应用的搭建,让每一个互联网应用都能实现千人千面的效果。
当然,实际实施时,效果与数据定义、Prompts设计等关联极强,并非所有应用都能做好,这类应用在大多数互联网业务中都很普遍,且投产比极高。
以前,任何基于策略的改动都需要投入大量开发成本,而现在,只需调整样本的标签定义、Prompts指向,就能完成调整,既快速又高效。而且在定义好效果评估指标后,模型还能持续自动输出效果数据,省去了繁琐的复盘流程。
最好的是,连A/B测试都可以在模型中验证完成。
② 面向B端的主动触发应用:这类应用通常触发频率低、目的性强、无效行为少,投产比更高。比如做一款连锁门店的会员管理AI工具,店长可以通过一个入口实现会话交互:每日的经营财报由AI分析后推送,既能查看优秀店铺的经营经验,也能通过AI排查自身店铺的不足,实现及时会诊。
同时,在客户到店环节,AI可以直接匹配用户行为进行分析,了解客户的喜好、消费习惯和服务偏好,从而制定更贴合用户预期的服务方案。
这类应用的商业价值巨大,且面向的是少数人使用的业务操作场景,用户动机明确,不会产生太多不可控的非规范化操作。
这只是其中一种应用场景,类似的B端场景基本可以一通百通。
③ 有边界的面向C端业务:如果企业不像大厂那样有充足的资金支持,就一定要吸取前面那位朋友公司的教训。当业务直接面向C端时,AI的运行效果和成本都处于不可控状态,很容易让一个无产出模块,变成低效高投入的负担,得不偿失。
因此,面向C端的AI业务一定要设置边界:比如设置问答条件阀,若用户的问题持续与本模块的知识库无关超过x次,就终止问答;也可以限制问答文本的长度,对超出一定字数的文本进行限制;还可以设定有效问答的次数上限。总之,要在问答有效性和成本控制之间找到平衡点,设置合理的边界。
04 业务仍是关键,工具仅是辅助
AI从来不是万能钥匙,对业务本身产生帮助,才是它的存在意义。如今,即便是京东、天猫这样的互联网大厂,大家看到它们集成的AI搜索,真的觉得这是一款优秀的产品吗?我想,大厂内部肯定也会算一笔账,只不过这笔账的计算逻辑,可能并非基于业务本身,而是基于某些考核数据。
但行业中依然有清流存在,比如直到现在,在AI热度居高不下的当下,手握大量现金流的拼多多,在面向用户的应用中,几乎看不到任何AI的影子。
跳开现象看本质,我们使用工具的核心目的是解决业务问题。工具本身无法凭空创造业务,哪怕是强大的AI也不例外。如果AI的应用有价值,就大胆投入使用;如果暂时没有价值,保持现状、不盲目投入,本身也是一种理性的选择。
产品经理的核心,从来不是“会做什么”,而是“能决策什么、能为业务创造什么价值”——这一点,AI永远无法替代。
作者:计无施 公众号:产品小酒馆
本文由 @计无施 原创发布于人人都是产品经理。未经作者许可,禁止转载
题图来自Unsplash,基于CC0协议
- 目前还没评论,等你发挥!

起点课堂会员权益




