一文搞懂Anthropic最新论文:什么是J-space,AI 也有自己的“念头后台”吗?

1 评论 702 浏览 4 收藏 13 分钟

当AI被命令「不要想紫色大象」时,它反而会调出这个概念——Anthropic最新研究揭示了Claude大模型内部的「公共黑板」机制。这块被称为J-space的认知区域,不仅提前承载着模型未说出口的中间概念,更会像人类思维般因否定指令强化特定联想。

现在,请你不要去想一头紫色的大象。

不要想它站在教室后门。

不要想它挡住了值日生擦黑板。

也不要想它身上是那种离谱的紫色。

好了。

你刚刚大概率已经想到了它。

这件事很有意思:明明指令是“不要想”,但你的大脑要执行这条指令,反而必须先把那个东西调出来。

你要确认自己有没有想“紫色大象”,就得先知道“紫色大象”是什么。

这也是 Anthropic 最近一篇研究里,最让人后背一凉的地方:

他们发现,Claude 这样的 LLM,Large Language Model(大语言模型)内部,似乎也有一块类似“黑板”的区域。

模型还没说出口的某些念头,可能已经被写在了那里。

一、我们并不是大脑的班主任

很多时候,我们以为自己是大脑的主人。

但真实情况可能更像这样:

我们并不是大脑的班主任,更像是坐在教室里的学生。原本还在发呆,突然看见黑板上被写下了几个字,才意识到:哦,原来今天要讲这个。

人脑的大量运算,其实都发生在后台。

比如:

你看一道语文阅读题,不需要逐个分析每个字,脑子已经知道这是一篇散文还是议论文。

你听到走廊里熟悉的脚步声,不用认真比对,就能猜到是不是班主任来了。

你走进食堂,还没想清楚吃什么,身体已经自动带你往最熟的窗口走。

大脑早就替你做完了很多判断。

只有其中一小部分,会被推到台前,像写到黑板上的板书一样,变成你能清楚意识到、能说出来、能拿来反复思考的东西。

这块“黑板”,就是理解这篇论文的关键。

二、Anthropic 找到了一块模型里的“黑板”

Anthropic 这篇论文研究的是 Claude 内部的表示机制。

研究者发现,Claude 内部似乎存在一个特殊空间,他们把它叫做 J-space。

你可以先不用记这个名字。

只需要把它理解成:模型内部的一块“公共黑板”。

它不是模型最后输出的话。

也不是我们看到的 CoT,Chain of Thought(思维链)。

它更像是模型还没说出口,但已经在内部摆上台面的概念。

举个例子。

研究者问 Claude:

会织网的动物有几条腿?

Claude 最后只回答了一个数字:

8

但在它内部,研究者看到一个中间概念先出现了:spider,也就是蜘蛛。

这就像你做一道生物小题,最后答案栏只写了“8”,但你脑子里其实先闪过了“蜘蛛”这个关键词。

你没把它写在卷子上。

但它确实参与了你的解题。

更关键的是,研究者不只是看见了这个词。

他们还直接动手改了它。

他们把 Claude 内部的 spider 换成 ant,也就是蚂蚁。

结果 Claude 的答案从 8 变成了 6。

这一步非常重要。

因为如果这个内部概念只是一个旁观记录,那么你改它,模型答案不应该变。

但答案真的变了。

这说明那个没说出口的“蜘蛛”,不是事后解释,也不是无关信号,而是真的参与了推理。

三、一个关键词,能带动一整套答案

再看另一个实验。

研究者让 Claude 回答关于法国的问题,比如:

  • 首都是什么?
  • 说什么语言?
  • 属于哪个洲?
  • 货币是什么?

在这些题里,Claude 内部会出现“法国”这个概念。

然后研究者把这个内部概念换成“中国”。

结果很有意思:

  • 首都变成北京。
  • 语言变成中文。
  • 大洲变成亚洲。
  • 货币变成人民币。

这就像一道地理综合题。

题干里的核心国家一旦从法国换成中国,后面一整串知识点都会跟着变。

这说明 J-space 里的概念不是一张一次性小纸条。

它更像黑板上的关键词。

一个关键词被写上去之后,语文老师、地理老师、历史老师都可以围绕它继续讲。模型内部的不同能力,也都可以读取它、使用它、继续推理。

四、这和“意识”有什么关系?

这里就要引入一个认知科学里的概念:

GWT,Global Workspace Theory(全球工作空间理论)。

这个理论大概是说:人脑里有大量自动运行的模块。

  • 视觉系统处理图像。
  • 语言系统处理词句。
  • 运动系统维持姿态。
  • 记忆系统不断联想。

它们平时各干各的。

但当某个信息进入一个共享的 workspace,它就会变得特别。

它像被写上了全班都能看到的黑板:

  • 你能意识到它。
  • 你能说出它。
  • 你能控制它。
  • 你能拿它继续解题。

换句话说,“意识到一个念头”,可能并不是这个念头刚刚产生。

而是它终于被写到了那块全局共享的黑板上。

Anthropic 的研究者认为,Claude 的 J-space 在功能上就有点像这样。

五、AI 也会“不要想就更会想”吗?

最有意思的是,论文里还做了类似“不要想紫色大象”的实验。

研究者让 Claude 不要去想某个东西。

结果发现,那个概念虽然比“请你想它”时弱一些,但还是会明显出现在 J-space 里。

这和人类很像。

比如老师说:

考试的时候,千万不要把这里看成平方。

你本来没想平方。

但他这么一说,“平方”两个字已经出现在你脑子里了。

又比如你做选择题时一直提醒自己:

别选 C,别选 C,别选 C。

结果 C 反而在脑子里越来越显眼。

这背后的逻辑很简单:你要判断自己有没有想它,就必须先把它调出来。

所以,“不要想”有时候反而是一种召唤。

而现在,研究者似乎在 Claude 内部也看到了类似现象。

六、这是不是说明 AI 有潜意识?

这个问题很诱人,但也最容易说过头。

要看我们怎么定义“潜意识”。

如果你说的潜意识是指:一个系统内部有大量自动处理,很多判断在后台完成,只有少数内容会进入一个可报告、可控制、可推理的工作区。

那么,某种意义上,可以说 Claude 已经出现了类似结构。

但如果你说的潜意识是人类那种带着身体、情绪、欲望、创伤、梦境和生命史的深层心理世界,那这篇论文还远远没有证明。

它没有证明 Claude 有主观体验。

没有证明它真的“感觉到”什么。

也没有证明它和人一样拥有自我意识。

所以,这篇论文真正重要的地方,不是证明 AI,Artificial Intelligence(人工智能)有灵魂。

它更像是证明了一件更微妙的事:

当一个智能系统变得足够复杂,它可能会自发长出一种内部结构:一边是大量自动运行、不可直接报告的后台处理;另一边是一小块可以被读取、被操控、被报告、被拿来做复杂推理的内部工作区。

七、对产品经理来说,这意味着什么?

这件事不只是 AI 研究人员该关心。

对产品经理来说,它至少带来三个提醒。

第一,不要只把 LLM 理解成“接下一个词”。

过去我们常说,LLM 只是根据概率预测下一个 token。

这句话不能说错,但已经太粗糙了。

它就像说学生考试只是“在答题卡上涂选项”。

可真正重要的,是他为什么涂这个选项,中间经过了哪些判断,哪些关键词影响了他。

第二,不要过度相信模型说出来的“理由”。

模型最终输出的解释,不一定等于它内部真实起作用的过程。

就像一个学生做对题之后,事后补一句“我是根据排除法做的”,但他真实解题时可能只是看到了某个熟悉题型。

所以在 AI 产品里,解释能力很重要,但解释不等于透明。

第三,提示词里的“不要”,可能并没有你想的那么简单。

如果你在系统提示词里反复强调:

  • 不要违规。
  • 不要编造。
  • 不要输出某类内容。

这些内容也可能被模型内部调出来。

这不代表不能写“不要”,而是说,AI 产品的安全设计不能只靠一句否定指令。它需要更系统的上下文设计、能力边界和行为约束。

结语:我们第一次看见了那块黑板

这篇论文最打动人的地方,不是它宣布 AI 已经像人一样有意识。

恰恰相反,它比较克制。

它真正让人震动的是:模型不只是说出了答案。

在说出答案之前,它可能已经在某个内部空间里,把一些关键词悄悄写上了黑板。

过去,我们只能看到模型最后交上来的答题卡。

现在,研究者似乎第一次比较清楚地看见了它脑子里的那块黑板。

这不等于 AI 已经和人一样有潜意识。

但它说明,我们理解 LLM 的方式,可能要更新了。

它不是一个完全透明的工具。

也不是一个拥有人类心灵的生命体。

它更像是一套正在变得越来越复杂的认知系统。

它有后台。

有台前。

有没说出口的中间概念。

也有一些我们刚刚开始学会观察的内部活动。

而这,也许才是这篇论文真正值得关注的地方。

参考资料:Anthropic Research《A global workspace in language models》

https://www.anthropic.com/research/global-workspace

本文由 @蜜蜂狗 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 论文的核心是发现模型内部有块J-space,像黑板一样预存中间概念,否定指令反而会强化这些概念。先讲了黑板的存在,再通过换内部概念改答案证明它参与推理,最后提醒产品经理别只看下一个词,否定可能适得其反。

    来自广东 回复