世界模型的崛起正悄然改变AI训练的底层逻辑。从大语言模型的‘图书馆式智能’到多模态模型的‘视觉映射’，再到世界模型赋予AI预测物理规律的能力，这场范式转移不仅重塑技术路线，更将训练师的角色从数据标注员推向‘世界规则设计师’。本文从一线AI训练师的独特视角，深度解析Sora引爆的背后逻辑与大厂布局的隐秘战线。

我入行AI训练师，说实话，刚开始的时候我对这个职位的理解非常模糊。标注数据、写prompt、做RLHF反馈、评估模型输出质量……每天的工作看起来像是在做一些零散的事情，很难说清楚自己到底在训练一个什么样的东西，又在朝哪个方向走。

直到世界模型这个概念开始密集出现在我的视野里。那是我第一次真切感受到，AI正在发生一些本质性的变化。不是更聪明了，不是更快了，而是开始理解世界了。

这篇文章，我想从一个AI训练师的视角，聊聊世界模型到底是什么，它和我们已经熟悉的大语言模型、多模态模型之间是什么关系，以及这场范式转移对于我们这些在AI训练一线工作的人意味着什么。

一、LLM让我们误解了”智能”

在聊世界模型之前，我想先说说大语言模型给我们带来的一个重要误解。

ChatGPT出现之后，很多人——包括我自己——有一段时间真的以为AGI快来了。GPT-4能通过律师资格考试，能写出媲美人类的文章，能解释量子力学，能帮你调试代码……这一系列能力叠加在一起，很难不让人产生一种错觉：这个东西已经很”懂”了。

但在实际工作中，你会慢慢发现一些奇怪的缝隙。

我做RLHF标注的时候，有一次给模型出了一道很简单的空间推理题：桌子上有一个苹果，苹果旁边有一本书，书的左边是一杯水。问：苹果和水的相对位置是什么？

模型给出的答案不稳定，有时候对，有时候错，而且你追问它为什么这么判断，它能给出一套听起来完全合理的解释——无论答案是对是错。

这让我意识到一件事：LLM掌握的是”关于世界的语言描述”，而不是”世界本身的运作规律”。

这个区别听起来很微妙，但其实非常根本。

打一个比方：想象一个人从来没有离开过图书馆，他读遍了所有关于游泳的书籍，能背诵蝶泳的技术要领，能分析菲尔普斯的动作细节，能写出一篇专业的游泳教学文章。但是，把他扔进游泳池，他大概率会沉下去。

LLM就是这个图书馆里的人。

它的训练目标是：给定前面所有的词，预测下一个词的概率分布。用数学语言说就是最大化P(token_t | 所有之前的token)。这个目标让它学会了人类语言的统计模式，但语言的统计模式不等于世界的因果规律。

火焰是热的，这句话在训练数据里出现了无数次，所以LLM”知道”火焰是热的。但它不知道的是：如果你把手伸向火焰，温度会按照什么样的物理规律传导到你的皮肤，皮肤的蛋白质会在多少摄氏度开始变性，这个过程是可逆还是不可逆的。

这些”知道”背后的知道为什么，LLM一直缺席。

二、多模态让AI”看见了”，但还没有”经历”

多模态模型的出现是一个重要的进步。

当GPT-4V、Gemini这类模型能够理解图片的时候，我们获得了一个新的能力维度：AI开始能够感知视觉世界了。OCR、图像描述、视觉问答……这些能力在很多实际应用场景里有巨大的价值。

但多模态模型的本质，是在视觉特征和语言描述之间建立映射关系。

它学习的是：这种视觉模式，对应这种语言描述。一张猫的图片，对应”猫”这个词以及关于猫的所有语言知识。这种对应关系学习得越精准，模型的多模态能力就越强。

问题在于，这依然是一种静态的、表面的理解。

举个例子：给多模态模型看一张台球桌的照片，再给它看一张球杆击球瞬间的照片，它能告诉你这是在打台球，能描述球的颜色和位置。但如果你问它：球被击中之后会往哪里运动，会不会碰到边框反弹，最终停在哪里——这些问题涉及到物理轨迹的预测，多模态模型的表现就会变得非常不稳定。

原因很简单：多模态模型看过无数张台球的图片，但它从来没有在台球的世界里”行动”过。

看过和经历过，是两种本质上不同的智能来源。

人类之所以有直觉，有物理常识，是因为我们从婴儿时期就在真实世界里摸爬滚打，通过无数次的行动和反馈，在大脑里建立起了一套世界的运作模型。当你看到一个杯子放在桌子边缘，你本能地会感到担忧——这种直觉不是从书上学来的，而是从你某次不小心打碎杯子的经历里涌现的。

LLM没有经历过，多模态模型依然没有经历过。

而世界模型，正是要解决这个”经历”的缺失。

三、世界模型：AI第一次开始”预测世界”

世界模型这个概念并不新。

2018年，AI研究者David Ha和深度学习先驱Jürgen Schmidhuber发表了一篇名为《World Models》的论文，系统提出了这个框架。他们的核心想法是：一个智能体要在世界中行动，就必须在内部建立一个关于世界的模型，通过这个内部模型来预测行动的后果，再决定采取什么行动。

这个想法其实和人类的认知方式非常接近。

你在开车的时候，大脑并不是实时处理所有传感器数据再做决策，而是基于你对道路规律的理解，不断预测前方会发生什么，在预测的基础上做判断。这个”对道路规律的理解”，就是你大脑里的世界模型。

用更技术性的语言来说，世界模型的核心训练目标是：

给定当前的状态S和采取的动作A，预测下一个状态S’。

这一个简单的公式和LLM的训练目标相比，有三个根本性的不同：

第一，引入了”动作”维度。 LLM预测的是词，多模态模型预测的是内容，而世界模型预测的是”行动之后世界会怎样”。这意味着AI第一次真正把”做事”和”理解”结合在了一起。

第二，建立了因果关系而非统计关系。 我推了这个杯子，杯子会倒——这是因果。LLM知道”杯子倒了”和”推”经常在语言里一起出现，但它不理解推力、重心、摩擦力之间的因果链条。世界模型要学的正是这个因果链条。

第三，支持”反事实推理”。 这是最让我兴奋的一点。反事实推理是说：如果我不这样做，而是那样做，结果会有什么不同？这种”想象中的试错”能力，是规划和决策的基础，也是人类智慧的重要组成部分。一个真正的世界模型，应该能在内部模拟多种可能的未来，选择最优的行动路径。

四、Sora为什么让整个行业震惊

2024年1月，OpenAI发布Sora的那一刻，其实是世界模型概念第一次以一种所有人都看得懂的方式被呈现出来。

Sora表面上是一个视频生成模型。但让业内人士真正震惊的，不是它生成的视频有多漂亮，而是视频里展现出来的物理一致性。

水往低处流，而不是随机飘散。碰撞发生时，物体的形变方向符合受力分析。镜头从一个角度切换到另一个角度，场景里的光影关系保持正确。一个球被踢出去，它的运动轨迹符合抛物线，而不是随机游走。

这些细节，Sora并没有被显式地教过。没有人在训练数据里标注”这里的水应该向左流”，也没有人写代码规定光照应该如何计算。这些物理规律，是模型在训练了海量视频之后自发涌现出来的。

OpenAI在Sora的技术报告里有一段话，我觉得是整篇文章最重要的部分：

“我们认为，视频生成模型是物理世界通用模拟器的一个有前景的路径。”

这句话的信息量非常大。它意味着：当你训练一个足够大的模型去预测视频的下一帧，它会被迫学习世界的物理规律——因为只有理解了物理规律，才能正确预测下一帧应该长什么样。

这是一个非常优雅的训练信号设计。视频本身就是因果序列——每一帧都是上一帧按照物理规律演化的结果。通过预测这个序列，模型在学习语言的过程中，也在悄悄学习物理。

当然，Sora还远远不是完美的世界模型。它有时候会生成物理上荒谬的内容：人从椅子上站起来但椅子凭空消失，水面反光的方向和光源不一致，长时间视频里物体的属性前后矛盾……这些错误恰恰说明，它的世界模型是不完整的，是片段性的。

但它展示了一个可行的方向。

五、三条路线的本质差异：一个训练师的理解

在工作中，我慢慢形成了一个对这三类模型的理解框架，我觉得用”认知层次”来描述最为准确。

大语言模型解决的是”知道什么”的问题。

它的核心能力是知识的存储和检索，以及语言的生成和理解。它知道历史上发生了什么，知道科学定律的表述，知道如何把一件事情解释清楚。这是一种很宝贵的能力，但它的局限在于：它知道的是”关于世界的描述”，而不是”世界本身”。

多模态模型解决的是”看到什么”的问题。

它的核心能力是感知，是把视觉、听觉等感官信号转化为语义理解。它能看懂图片，能理解视频里发生了什么，能把不同模态的信息关联起来。这把AI的认知范围从语言扩展到了感知。但它依然是静态的，是截图式的理解，缺少对时序动态和行动后果的建模。

世界模型解决的是”会怎样”和”怎么做”的问题。

它的核心能力是预测和规划。它要理解的不是事物的静态属性，而是动态的因果链条。它要能够回答：如果我这样做，世界会变成什么样？哪条路径能让我达到目标？这个东西碰到那个东西会发生什么？

从训练师的角度来看，这三种模型对数据的需求截然不同。

LLM需要的是大量高质量的文本，核心在于覆盖广泛、语言准确。多模态需要的是高质量的图文对或视频文本对，核心在于模态之间的对齐精准。而世界模型需要的是包含行动标注的交互序列——不只是”发生了什么”，还要有”因为做了什么才发生”。

这对数据采集和标注的要求，是一个数量级的跨越。

六、世界模型为什么现在爆发

这个问题我思考了很久，因为世界模型这个概念并不新——2018年就有奠基性的论文了，为什么偏偏是2024年前后突然成为业界最热的话题？

我觉得有几个因素叠加在一起，形成了这次爆发。

第一个因素是LLM的scaling law开始遇到天花板。

GPT-3到GPT-4这个阶段，每一次参数量的大幅提升都带来了令人惊叹的能力跃迁。但GPT-4之后，这种跃迁的幅度开始明显收窄。训练成本从数千万美元涨到数亿美元，但能力的提升越来越难以让用户感知到革命性的变化。

更麻烦的是数据问题。有研究机构估算，互联网上可用的高质量文本数据将在2026年到2028年之间基本被主流模型”吃完”。继续堆数据的路线正在遭遇物理限制。

业界开始意识到：单纯在语言空间里做文章，可能真的到头了。

第二个因素是具身智能的需求突然变得非常迫切。

2024年，人形机器人赛道的融资规模达到了一个历史高点。Figure AI、1X Technologies、Physical Intelligence……一批专注于通用机器人的公司密集获得了大额融资。与此同时，特斯拉的Optimus机器人开始在工厂里执行真实任务，波士顿动力的机器人也在加速商业化。

机器人要在真实的物理世界里工作，必须理解物理规律，必须能够预测行动后果，必须能在不确定的环境中实时规划。这些需求，LLM和多模态模型都无法直接满足。

而世界模型，正是机器人大脑的核心基础设施。

第三个因素是Sora证明了这条路线的可行性。

在Sora之前，世界模型更多是一个学术概念，工程实现上还有很多未解决的问题。Sora的出现证明了：大规模视频预训练可以让模型涌现出物理理解能力，这条路线是走得通的。

这给了整个行业一个非常强烈的信号：下一个重要的范式，已经有了第一个令人信服的工程案例。

第四个因素是Meta的LeCun持续”带节奏”。

Yann LeCun作为深度学习的三位图灵奖得主之一，在过去两年里不断公开表达一个观点：现有的LLM路线永远无法实现AGI，真正的通用智能必须建立在世界模型的基础之上。他在Meta主导开发的JEPA系列架构，是目前世界模型研究中最有影响力的学术路线之一。

当这个级别的研究者持续、公开地为一个方向站台，资本和人才的流向就会跟着改变。

这四个因素叠加在一起，形成了2024年世界模型突然爆火的背景。

七、大厂们在做什么

了解大厂的布局，对于理解这个领域的发展方向非常有帮助。

OpenAI的路线是最模糊也最让人好奇的。Sora是目前最接近世界模型概念的商业化产品，但OpenAI并没有明确把它定义为世界模型，而是称之为”物理世界的模拟器”。与此同时，o1和o3系列模型走的是推理能力深化的方向——在回答之前让模型进行更长时间的”思考”。这两条线最终如何融合，是整个行业都在猜测的问题。

Meta的路线是最明确的。LeCun主导的JEPA架构，加上V-JEPA 2.0对视频动态的建模，是目前学术界最系统的世界模型研究路线。Meta的策略是把这些研究开源，在学术影响力上建立优势，同时为自家的AR眼镜和机器人项目提供技术储备。

Google DeepMind走的是多线并行的路线。Gemini负责通用多模态能力，Genie系列专注于从视频中学习可交互的世界模型，还有专门针对机器人控制的RT系列。DeepMind的优势在于强化学习的深厚积累——从AlphaGo到AlphaFold，他们在让AI通过与环境交互来学习这件事上有最丰富的经验。

国内方面，字节跳动、腾讯、华为等公司都在布局，但公开信息相对有限。比较明确的是自动驾驶赛道——理想汽车、文远知行等公司都在把世界模型作为下一代自动驾驶系统的核心技术。Wayve的GAIA-1是目前自动驾驶世界模型里最受关注的案例，它能够根据文字描述生成不同天气、不同交通状况下的驾驶场景，用来训练自动驾驶系统。

八、回到训练师：这场变革对我们意味着什么

说了这么多宏观的内容，我想回到一个更具体的问题：作为AI训练师，这场世界模型的浪潮对我们的日常工作意味着什么？

我在思考这个问题的时候，有一个感受越来越强烈：训练师这个职业，正在从”数据标注工人”向”世界规则设计师”演变。

在LLM时代，训练师的核心工作是：提供高质量的文本示例，告诉模型什么样的回答是好的，什么样的是不好的。RLHF标注本质上是在帮模型建立一套语言层面的偏好系统。

这个工作很重要，但它的边界是清晰的——你在评估的是语言输出的质量。

但在世界模型的训练体系里，问题变得复杂得多。

你需要评估的不再只是语言，而是物理合理性。

模型生成了一段视频，一个机器人伸手抓取桌上的物体。你作为训练师，需要判断：这个抓取动作的角度是否合理？手指的弯曲是否符合人体工程学？物体被抓起的那一刻，桌子是否有正确的反应力？这些判断需要的不是语言能力，而是对物理世界的直觉。

你需要设计的不再只是问答示例，而是场景和规则。

在强化学习的框架里，智能体是通过在环境中行动并获得奖励来学习的。训练师的一个重要职责，是设计合理的奖励函数——告诉模型什么样的行为应该被奖励，什么样的应该被惩罚。奖励函数设计得好，模型会学到我们期望的行为；设计得不好，模型会钻空子，用我们意想不到的方式来最大化奖励，而完全偏离了真正的目标。

这在业内被称为”奖励黑客”（Reward Hacking），是强化学习里最经典也最棘手的问题之一。解决这个问题需要训练师对任务目标有深刻的理解，并且有足够的创造力来预判模型可能找到的”作弊路径”。

你需要面对的不再只是语言幻觉，而是物理幻觉。

LLM会产生事实性错误，这我们都知道。但世界模型会产生物理性错误——生成在物理上不可能发生的场景，或者在长时间的模拟中让误差不断累积，最终偏离现实。

如何识别这些物理幻觉，如何设计测试场景来暴露模型的物理盲区，如何构建评估体系来量化模型的物理理解能力——这些都是世界模型时代训练师需要具备的新能力。

你需要参与的不再只是数据标注，而是数据生态的设计。

世界模型最大的数据瓶颈，是缺乏包含行动标注的交互序列数据。互联网上有海量的视频，但这些视频大多数只有”发生了什么”，没有”因为什么动作才发生”。

如何设计数据采集框架，如何利用仿真环境生成合成训练数据，如何确保合成数据和真实世界之间的分布匹配——这些工作需要训练师深度参与，而不只是在标注界面上点点鼠标。

九、作为训练师，我在尝试做的事

说到这里，我想分享一些自己在工作中开始尝试的转变。

第一，主动建立对物理世界的系统认知。

这听起来很奇怪——你需要重新学物理？但我是认真的。我开始系统地复习基础物理知识：力学、流体、光学……不是为了去做物理计算，而是为了在评估模型输出的时候，有更扎实的物理直觉作为判断基础。

我们评估语言模型输出的时候，依赖的是我们从小积累的语言直觉——这句话听起来自然不自然，这个逻辑通不通顺。评估世界模型输出的时候，我们需要的是物理直觉——这个运动轨迹对不对，这个形变合不合理。

而物理直觉是需要刻意培养的。

第二，开始学习强化学习的基本概念。

我不需要成为强化学习的研究者，但我需要理解奖励函数、策略优化、探索与利用的权衡这些基本概念。因为在世界模型的训练体系里，这些概念会直接影响我的工作方式和判断标准。

知道强化学习的基本原理，我才能理解为什么某些奖励设计会导致模型产生意料之外的行为，才能在设计评估任务的时候，提前考虑到潜在的奖励黑客风险。

第三，开始关注具身智能和机器人相关的场景。

世界模型目前最重要的落地方向是自动驾驶和机器人控制。这些场景和我们日常接触的对话AI非常不同，但它们正在成为训练师工作的重要组成部分。

我开始主动了解机器人操作的基本知识，学习自动驾驶场景的评估标准，尝试建立对这些具身智能场景的感性认知。

第四，把”数据设计”而不只是”数据标注”作为自己的核心能力目标。

标注是执行层面的工作，数据设计是策略层面的工作。前者关注的是”这个样本应该打什么标签”，后者关注的是”我们需要什么样的数据，才能让模型学到我们想要的能力”。

我在试图让自己的思维层次向后者迁移。每次做标注任务的时候，我会多想一步：这个任务的数据设计合不合理？有没有系统性的盲区？如果我来设计这个标注方案，我会有什么不同的选择？

十、三者的未来：不是替代，而是融合

在整理这篇文章的思路时，我反复在思考一个问题：LLM和多模态是否已经走到了尽头？

我的结论是：没有，但它们正在走到”独立存在”的尽头。

LLM不会消亡。它积累的语言理解和知识存储能力，是任何通用智能系统都必须具备的基础设施。未来的智能系统一定需要一个能够理解和生成语言的模块——LLM就是这个模块最好的实现方式。

多模态模型也不会消亡。感知世界的能力是具身智能不可或缺的基础。摄像头的数据需要被理解，场景需要被语义化，这些工作多模态模型做得最好。

但它们作为独立产品形态的价值边界，正在变得越来越清晰。继续在LLM框架内堆参数、堆数据，边际收益正在快速递减。继续在多模态框架内做更精准的图文对齐，也难以突破感知理解的天花板。

世界模型不是来取代它们的，而是来整合它们的。

用一个不太精确但很直观的比喻：如果未来的通用AI系统是一个人，那LLM是这个人的语言中枢，多模态是这个人的感知系统，而世界模型是这个人的认知中枢——把感知到的信息、理解到的知识，整合成对世界的动态理解和行动规划能力。

没有任何一个部分是多余的，但只有任何一个部分，都不足以成为完整的智能。

十一、写在最后

我刚入行的时候，有个前辈跟我说：做AI训练师，最重要的不是技术能力，而是对”什么是真正好的输出”有清晰的判断。我当时理解这句话的层次很浅——好的输出就是准确、流畅、有用的语言回答。但现在，随着世界模型的概念越来越清晰，我开始理解这句话有更深的含义：

“好的输出”这个标准本身，正在随着AI的演进而不断扩展。

从”语言是否准确”，到”感知是否正确”，再到”物理是否合理”，再到”规划是否有效”——每一次AI范式的转移，都是在把”好的输出”的定义往更接近真实智能