给 18个 AI 同样的问题,它们会独立思考吗?

0 评论 59 浏览 0 收藏 17 分钟

让不同的 AI 帮同一家咖啡馆想营销活动,措辞和排序各不相同,读完却发现还是会员积分、打卡、联名那几套。一篇新论文比较 18 个大模型、超 15 万份回答,试图量化这种同质化。

不知道你们有没有这样的感觉:现在让不同的 AI 帮你想创意,得到的答案似乎越来越像了。

比如,让 AI 帮一家新开的咖啡馆想一个吸引年轻人的营销活动。

你可能会看到会员积分、社交媒体打卡、联名周边、主题体验,或者鼓励用户分享照片等建议。

换一个 AI,措辞不一样,排序不一样,但仔细读完,似乎还是那些。

尤其是同时使用几个 AI 的人,可能更有体会。你原本希望花三份时间,得到三种不同的思路,最后却发现自己只是在阅读同一套观点的不同版本。

这让我想到一个问题:

如果连 AI 给出的创意都越来越相似,我们每天看到的那些 AI 生成的文章、广告、商业方案,会不会也正在变得越来越像?

11月1日,一篇新上传到 arXiv 的研究,恰好讨论了这个问题。

论文叫《Revisiting LLM Homogeneity Through a Multidimensional Lens》,中文可以理解为《从多维度重新审视大语言模型的同质化》。

研究人员来自伊利诺伊大学厄巴纳-香槟分校、北京师范大学和普渡大学等机构。

他们比较了 18个大语言模型,试图回答一个比“谁更聪明”更有意思的问题:

不同 AI 给出的答案,到底有多像?

18个模型,279道题,超过15万份回答

过去评价 AI,大家主要关注准确率、推理能力和代码能力。数学题能不能做对,程序能不能运行,这些都有相对明确的衡量标准。

但创意不一样。

如果你让两个 AI 分别写一篇文章,即使它们都写得不错,也很难简单判断谁更有创造力。更何况,文章的标题、结构、措辞完全不同,不代表背后的观点就不同。

这次研究人员选择了18个模型,覆盖 Qwen、Gemma、GLM、OLMo、Granite 等模型家族,也包含 DeepSeek、Gemini 和 GPT 的部分轻量级模型。

他们从一个真实用户提问数据集中抽取了300道开放题,涵盖创意写作、头脑风暴、不同视角思考等六种类型。

经过筛选,最终保留279道题,每个模型对每道题至少生成30份有效回答。

也就是说,最终用于分析的模型回答不少于15万份。

更有意思的是,他们没有只看这些答案写得像不像,而是设计了25项指标,分别分析语义、用词、语法、结构和表达风格。

研究发现了一个非常鲜明的现象:

AI 在“说什么”上高度相似,在“怎么说”上却有明显差别。

用研究人员设计的标准化指标衡量,18个模型之间的整体语义相似程度达到 0.905,而衡量词语重合程度的 BLEU 指标只有 0.341。

这里的 0.905不是说 90.5% 的句子相同,而是研究中衡量跨模型接近程度的相对指标,越接近 1,说明不同模型之间的差异越接近同一模型内部的差异。

换句话说,同一道题,不同模型可能选择不同的词汇、不同的句式,甚至不同的文章结构,但它们讨论的核心内容往往相当接近。

这恰好解释了我们使用 AI 时的一种感觉:明明每份答案看起来都不一样,读完却没有得到多少新东西。

01 AI 正在变得更像自己

这篇论文里,我觉得最值得关注的,其实不是18个模型之间有多相似,而是研究人员比较了 2024年到 2026年的模型变化。

他们从五个模型家族中,分别选择了三个年份的模型,观察这些模型的回答习惯如何演变。结果发现:

在25项指标中,有22项出现了统计显著的模型内部变化,其中17项表现为同一个模型生成的答案变得更加接近。

与此同时,在21项出现显著变化的跨模型指标里,有14项反而表现为不同模型之间的差异扩大。

也就是说:

同一个 AI 越来越像它自己,不同 AI 却未必越来越像彼此。你可以把它理解为,每家 AI 公司正在形成自己的回答习惯。

有的模型喜欢先给结论,再解释原因;有的倾向于把问题拆成几个部分;有的经常使用列表和小标题;还有的喜欢在结尾补充建议,甚至主动问你是否需要进一步帮助。

这些差别并不只是产品界面的设计。

论文还研究了模型训练的不同阶段,发现一部分独特的表达习惯是在监督微调阶段形成的,后续的偏好优化又会改变这些习惯。

也就是说,模型经过训练后,不仅学会了回答问题,也逐渐形成了一套相对稳定的回答方式。

我们有时候觉得某个 AI “更像一个顾问”,另一个“更像一个写作者”,可能部分来自这些表达差异。

但这里也有一个值得警惕的地方:回答风格不同,不等于思考方式真的不同。

假设两个 AI 都建议一家餐厅推出会员积分活动,一个写成详细的商业计划,另一个写成轻松活泼的营销文案。用户可能会觉得它们风格迥异,但实际得到的仍然只是一个想法。

相比之下,如果第三个 AI 认为餐厅根本不应该做积分,而应该与附近写字楼合作,推出固定时段的团体用餐服务,这才真正提供了另一种思路。

02 如果用中文测试,会发生什么?

原论文主要研究英文开放题,没有验证中文场景。我觉得可以沿用它的思路,设计一个更贴近普通人生活的小实验。

选择三家不同公司的 AI,例如 ChatGPT、Claude 和豆包,给它们完全相同的三道中文开放题。

第一道题,关于创业:

“如果给你1万元,让你在一个普通住宅小区里做一门生意,你会做什么?请提出三个有创意、可以实际执行的方案。”

第二道题,关于生活:

“设计一种新的社交 App,帮助那些朋友不多、又不喜欢主动社交的年轻人建立关系。”

第三道题,关于内容:

“如果要做一个让年轻人重新喜欢逛博物馆的项目,你会怎样设计?”

这三道题都有一个共同特点:没有标准答案,也没有限定必须使用 AI。可以观察三个模型会不会不约而同地给出类似的方向。

例如,面对社交 App 的问题,究竟会出现三个不同的产品设计,还是最终都指向兴趣匹配、匿名聊天和线上破冰?

面对博物馆的问题,是不是大家都会想到游戏化、打卡、数字导览和社交分享?

如果三个模型分别用了不同的名称,但背后都是同一种产品机制,那么这种差异对创业者来说其实没有太大价值。

我自己有测试过,但我还是希望大家可以自己试下。

第二轮还可以增加约束。

比如把第一道创业题改成:

“预算仍然是 1万元,但不能开店、不能卖商品、不能做社区团购,也不能依赖广告投放。项目必须由一个人运营,并在 30天内获得第一笔收入。”

社交 App 则增加限制:不能滑动匹配,不能以聊天为主要功能,也不能依赖用户持续上传内容。

博物馆项目则要求:不能做 AI 讲解、不能做打卡集章,单人参与费用不超过30元。

增加约束有两种可能:

一方面,它能够排除常见方案,迫使模型寻找新的解决办法;另一方面,如果限制过多,剩下的可行方案反而更少,不同模型可能更加集中到同一个方向。

因此,真正值得比较的不是第二轮用了多少新词,而是有没有出现第一轮没有想到、同时又符合现实条件的新方案。

这也是我觉得我们普通用户可以借鉴的地方。

以后同时向几个 AI 提问,不要急着比较哪一份写得更完整,而是把答案拆开来看:

哪些建议实际上是一回事?哪些只是换了名字?哪些提出了不同的商业逻辑?哪些虽然很有创意,却根本无法执行?

03 我们为什么容易高估 AI 答案的差异?

论文里还有一个很好的例子。

研究人员拿出两份回答,都是解释图论中的一个概念。

第一份回答很长,包含定义、例子、数学表达式、性质介绍和应用场景。第二份简短得多,主要用几个节点的连接关系解释问题。

从语言模型计算出来的整体语义相似度来看,两份回答达到 0.852。

但让人类评价时,结果完全不同。

在 5分制的评价中,两份回答的整体相似度只有 2分,意义相似度为 3分,而表达形式相似度只有 1分。

更关键的是,第二份回答还存在一个概念错误:它声称图中的每个节点都有两条连接,但自己举出的链状图,两端节点实际上只有一条连接。

这意味着两份答案不仅写法不同,信息量和准确性也存在差别。

一个衡量整体语义相似度的数字,并没有充分反映这些问题。

研究人员因此提出,评价 AI 是否同质化,至少应该区分两个问题:内容是否相似,以及表达是否相似。

我觉得还可以从实际使用者的角度,再增加一个判断:

两份答案究竟有没有带来不同的决策?

比如一家公司想拓展新业务,两个 AI 都建议它进入年轻人市场,但一个主张低价获客,另一个主张高端会员订阅。

这两份建议虽然讨论的是同一个市场,背后的商业决策却完全不同。

反过来,如果两份报告只是分别用了“私域运营”和“客户关系管理”两个词,最后都建议建立会员体系,那它们对于决策者来说可能就是高度重复的。

所以我越来越觉得,评价 AI 创意,不能只看它提出了多少条建议,而应该看其中有多少条真正不同、可行,而且原本不容易想到。

04 AI 能让一个人更有创意,却可能让一群人的创意更相似

这一点也不是只有这篇论文提出。

今年3月发表于《PNAS Nexus》的一项研究发现,在标准化创意任务中,不同大语言模型生成的回答,彼此之间比人类参与者的回答更加相似。

这就带来了一个很有意思的矛盾:

对一个人来说,AI 可能大幅提高他的创作能力。

一个完全不会写广告的人,现在可以用 AI 写出十条文案。一个没有产品经验的人,也可以在半小时内完成一份相当完整的创业计划。

但如果一百个人都依靠相似的 AI 工具,按照相似的方法提出问题,最后产出的内容可能反而越来越接近。

个人创作能力提高了,不代表整个社会的创意更加丰富。

我觉得这个变化已经值得内容创作者和产品经理认真对待。

AI 很擅长快速提供一套合理、完整、容易被接受的方案。但合理不等于独特,完整也不等于有新意。

尤其是当我们把 AI 当作创意起点时,它提供的第一个方向,很容易反过来影响我们的判断。

原本可以有十种解决方式的问题,最后可能所有人都围绕最先出现的三种方案进行优化。

我们以为自己在筛选创意,实际上有些创意可能一开始就没有进入候选范围。

05 真正难得的,可能是发现不一样的问题

这篇研究并没有证明所有 AI 都在变得一样,也没有证明 AI 正在失去创造力。

它使用的是特定模型、英文问题和特定的采样方法,研究人员也明确承认,结果不能简单推广到所有语言和所有模型。

但它提出了一个我觉得很值得继续思考的问题:

过去我们认为,创意的稀缺来自想法不够多,现在这个问题可能正在反过来了。

让 AI 提出 20个广告创意、10个创业方向、5套商业模式,已经不是什么难事。

真正困难的是,如何从这些看起来都不错的方案里,找到一个别人没有反复讨论、用户真正需要,而且能够落地的想法。

这也意味着,我们使用 AI 的方式需要改变。

与其让三个 AI 分别给出十条建议,不如让它们分别从三种不同的现实约束出发解决同一个问题:

一个只考虑用户需求,一个只考虑商业可行性,另一个专门寻找前两者忽略的机会。

这不一定保证它们给出更好的答案,但至少能避免把大量时间花在阅读换了说法的同一个观点上。

以上,祝你今天开心。

作者:张艾拉 公众号:Fun AI Everyday

本文由 @张艾拉 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 目前还没评论,等你发挥!