推荐语

当大模型从理解和生成数字内容，开始走向真实世界，Physical AI 正成为下一阶段最值得关注的方向之一。无论是机器人、自动驾驶，还是智能制造与物流系统，都需要模型具备对环境、时间、物理规律与行动后果的理解能力。如何让 AI 不只看懂世界，更能够预测、推演并介入世界，也正在成为行业共同面对的问题。

在这一过程中，世界模型被视为连接感知、理解、生成与行动的关键技术路径。它既需要处理 video、image、text、audio 等多模态信息，也需要进一步理解 action 与环境变化之间的关系。数据如何规模化、不同 embodiment 如何实现迁移、模型又该如何被有效评估，仍是 Physical AI 走向真实应用前必须回答的问题。

本期访谈，我们邀请 NVIDIA Cosmos 团队的 Max Li，围绕 Cosmos 的技术演进、world model 的发展路径，以及机器人智能的核心能力展开深入交流。在 Cosmos 的发展过程中，他从早期 3D 与 video model 探索阶段开始参与，持续见证并推动 Cosmos 从视频生成模型走向面向 Physical AI 的多模态基础模型。访谈中，Max 回顾了自己从机器人、3D 到 video generation 的研究转向，也解释了为什么在 Physical AI 中，数据规模、模态对齐、action representation 和 evaluation framework 会成为决定模型能力的关键。

除了 Cosmos 本身，访谈还延伸到许多更底层的问题：什么才是真正的机器人智能？Action 是否应该成为 pre-training 的一部分？未来 humanoid robot 和专用机器人会如何共存？以及一个面向真实世界的 AI agent，究竟需要怎样的 understanding、generation、memory 和 reasoning 能力。

在 Max 看来，Cosmos 的目标并不是简单生成漂亮的视频，而是成为一个能够理解物理世界、帮助 AI agent 在现实世界中工作的基础模型。他也希望 Cosmos 能成为 Physical AI 领域类似“CUDA”的开源基础设施，为研究社区提供一个可以继续探索 long context、safety、agent、action performance 等问题的共同平台。

我们将这次对话整理成文，希望读者能通过 Max 的视角，更清晰地理解世界模型、Physical AI 与机器人智能之间的关系，也看到一个基础模型从技术路线、工程取舍到生态建设的完整思考。Enjoy~

Z Highlights

• 机器人领域，尤其是医疗机器人，一个核心挑战是研究结果很难复现。实验高度依赖真实硬件环境，医疗数据又通常由医院独立管理，难以共享。这让我形成了一个认识：如果一个方向无法实现数据和实验规模化，就很难持续推动智能能力的发展。

• 我理解的智能，更接近于模型在训练过程中没有被明确设计、但随着数据规模扩大自然产生的泛化行为。很多能力不是一开始专门设计出来的，而是在大规模训练中涌现出来的。因此，generalization 是观察模型智能水平的重要方式。

• Benchmark 当然是衡量模型能力的重要方式，但它不能完全反映模型在真实使用场景中的表现。有些模型在传统指标上很接近，但真正让它生成内容时，在复杂行为、组合能力和整体表现上的差异会非常明显。

• 我们开始重新思考：如果 pixel 本身能够表达足够丰富的信息，为什么还需要先构建复杂的 3D 环境，再通过 rendering 生成最终视觉结果？这并不是说 3D simulation 没有价值，而是如果 pixel generator 能解决大部分现实需求，它可能就是更值得优先解决的问题。

• Cosmos 的核心目标，是让 video、audio、text、image 和 action 等不同模态能够在同一个空间中有效对齐，而不是每一种任务都依赖完整的数据组合。通过跨模态学习，模型可以利用更丰富的数据来源，建立更加通用的世界理解能力。

• 我们希望重新定义 action 在模型训练中的位置。传统观点里，action 往往被认为是 post-training 阶段的能力优化，但对于真正的 agent 来说，仅仅理解世界是不够的，它还需要通过行动改变世界，并理解行动带来的后果。

• 真正的 robot intelligence 应该能够理解环境、适应变化，并完成之前没有被明确编程过的任务。如果一个机器人只能完成固定任务，本质上只是给传统程序加入了一些概率分布，让它对环境变化更鲁棒，但它仍然没有跳出预先定义的范围。

从手术机器人到世界模型：智能首先是一个规模化问题

ZF：欢迎 Max，请你先简单介绍一下自己的研究背景和此前比较有代表性的研究工作，以及这些积累如何影响你后续在 Cosmos 方向上的探索。

Max Li：我在博士期间最开始主要从事机器人方向的研究，具体聚焦于手术机器人领域。在研究过程中，我逐渐意识到机器人领域存在一个核心挑战：研究结果难以复现。由于机器人实验高度依赖真实硬件环境，不同团队之间的设备配置和实验条件可能存在较大差异，即使采用相似的方法，也很难完全复现已有成果。此外，机器人领域，尤其是医疗机器人，还面临数据获取和共享的问题。相比一些拥有公开数据集的领域，医疗数据通常由医院独立管理，具有较强的私有属性，这进一步限制了研究的可重复性和规模化发展。这些经历让我形成了几个重要认识。首先，如果一个方向无法实现数据和实验规模化，就很难持续推动智能能力的发展。其次，机器人真正实现智能化的核心挑战在于对环境的理解能力，也就是感知能力。如果模型无法理解周围世界，就无法进行有效规划，也难以实现真正意义上的自动化。因此，我的研究重点逐渐从机器人本身转向了更基础的视觉感知和环境理解问题。

当时我主要研究 3D 重建方向，并观察到传统计算机视觉方法逐渐被基于学习的方法替代。其中一个明显趋势是，引入更丰富的先验信息（prior）能够显著提升 3D 理解和重建能力。例如，传统 SLAM 技术开始结合学习方法，通过引入大规模数据中的先验知识，提高模型对复杂环境的理解能力。这让我进一步思考，如果先验信息对于 3D 重建如此重要，那么是否可以直接进行 3D 生成，通过生成模型学习更加丰富的世界表示。

在后续探索中，我们尝试了 3D 物体生成、3D 场景生成等方向。但经过一段时间研究后，我们发现 3D 领域最大的挑战并不只是模型能力，而是数据获取和构建方式本身难以规模化。如果数据规模无法扩展，就很难真正产生类似大语言模型中的泛化能力。因此，我们逐渐调整研究方向，不再依赖无法规模化的数据采集方式或高度定制化的数据构建方法，而是更加关注能够大规模扩展的数据形式。例如，我们关注 pixel、text 和 action 等更加通用的数据组合方式，希望通过可扩展的数据规模推动模型能力自然涌现。

ZF：你提到的“智能”更多是指通过数据规模扩大后产生的泛化能力，还是有其他更具体的定义？

Max Li：我认为你的理解是准确的。这里所说的智能，更接近于模型在训练过程中没有被明确设计，但随着数据规模扩大而自然产生的泛化行为。例如，在研究视觉语言模型（VLM）或者视频生成模型时，我们经常会观察模型是否具备一些复杂能力，比如视觉推理能力。但在模型最初训练阶段，我们并不会专门针对这些能力设计数据或训练范式。很多时候，这些能力是在大规模数据训练过程中自然涌现出来的。后续研究者可能会针对已经出现的能力进行专门的数据构建和优化，但这更多是能力增强，而不是能力产生的根源。因此，我一直认为，generalization 是观察模型智能水平的重要方式。只有通过大规模数据训练，才能真正判断模型是否具备超出预期的泛化能力。

ZF：你之前提到，大规模数据训练是推动模型智能涌现的重要方式。在实际模型开发过程中，你们如何评估模型能力，除了传统 benchmark 之外，还有哪些方法？

Max Li：Benchmark 当然是衡量模型能力的重要方式，但它并不能完全反映模型在真实使用场景中的表现。这也是为什么我们在产品开发过程中，会进行大量的 vibe testing，而不仅仅依赖 benchmark。有些模型可能在传统指标上的表现接近，但当你真正让模型生成内容时，它们在复杂行为、组合能力和整体表现上的差异会非常明显。这种能力差异往往难以通过单一指标衡量，而需要结合真实场景中的模型表现进行判断。例如，在生成模型中，不同规模模型可能在 FID 等评价指标上的差距并不明显，但生成结果中体现出的复杂性和泛化能力，往往可以直观地区分模型能力。因此，vibe testing 虽然不是完全科学化的评价方式，但它是非常有价值的模型能力验证方法。

ZF：你在博士期间主要围绕机器人和 3D 方向展开研究，后来在 NVIDIA 早期也延续了类似方向。是什么原因促使你从 3D 和仿真方向转向视频生成？

Max Li：最开始，我们主要探索两个方向，一个是 image generation，一个是 3D generation。NVIDIA 非常重视 simulation，希望通过构建高质量的模拟环境，为机器人提供更加可重复、可复用的训练和评估体系。但在探索 3D 生成过程中，我们逐渐意识到，核心挑战在于如何实现规模化的数据和环境构建。Sora 的出现进一步验证了基于 pixel 的大规模生成模型可能是一条更具扩展性的路径。我们开始重新思考：如果 pixel 本身能够表达足够丰富的信息，为什么还需要先构建复杂的 3D 环境，再通过 rendering 生成最终视觉结果？当然，这并不是说 3D simulation 没有价值。例如，在长期一致性（long-term consistency）或者物理交互场景中，3D 环境仍然具有明显优势。但如果一个 pixel generator 能够解决大部分现实场景中的需求，那么它可能就是更值得优先解决的问题。

这个思考过程有点类似于大语言模型的发展。在语言任务中，很多复杂能力看起来都可以通过专门设计的方法实现，例如翻译、语义理解等，但最终证明，简单的 next token prediction 反而能够产生更强的泛化能力。因此，我们认为 video generation 可能是理解和模拟世界更加核心的方向，最终转向了 text-to-video generation。

Cosmos 的诞生:从 Video Model 走向 Physical AI

ZF：Cosmos 是一个持续发展的系列项目，从早期 video tokenizer、video model，到后续结合 action 和 robotics 方向。你是在 Cosmos 发展的哪个阶段开始参与并贡献的？

Max Li：我加入这个方向时，Cosmos 这个名字还没有形成。最开始我们仍然主要探索图片和 3D 相关方向，之后随着 Sora 的出现，我们开始转向 Cosmos 方向的研究。我从 Cosmos 第一代开始就持续参与相关工作。这个阶段还有一个非常重要的行业背景，就是 DeepSeek R1 的出现。它进一步证明了强化学习（RL）和可验证奖励（verifiable reward）具有很强的规模化潜力。此前 OpenAI 已经通过相关模型验证了强化学习在语言模型中的价值，而 DeepSeek R1 则让这一方向以开源形式得到更广泛关注。这让我们进一步思考：如果语言模型可以通过强化学习结合可验证的奖励机制，训练出更强的语言决策能力，那么机器人领域是否也可以采用类似的思路？也就是说，通过机器人策略（robot policy）、可学习的环境模型（learnable environment）以及强化学习相结合，训练出更强的机器人能力。

传统基于物理的仿真虽然非常重要，但也存在一定局限。例如，对于柔性物体以及真实世界中复杂、多变的环境，很难进行充分且准确的模拟。因此，视频模型和世界模型成为了一个自然的发展方向。当时 Cosmos 的目标正是探索成为一个世界模型，而现在，世界模型和 Physical AI 也越来越成为行业关注的重要方向。

ZF：Cosmos 系列经过多代发展，可能很多读者并没有完整了解整个演进过程。你能否简单介绍一下 Cosmos 的发展脉络，以及为什么每一代会加入新的能力和设计？

Max Li：Cosmos 的发展大致经历了几个阶段。第一代 Cosmos 主要聚焦于 video model。当时我们重点探索了不同类型的 video tokenizer，包括 discrete 和 continuous 等多种设计方向，希望找到适合不同应用场景的视频表示方式。这些探索帮助我们理解 video generation 的技术空间，也为后续模型发展奠定了基础。在第一代模型完成后，我们认为 video generation 方向非常有潜力。同时，我们也开始探索它在 physical AI 中的应用。例如，在机器人场景中，我们尝试让 robot policy 输出 action，由 video model 预测后续状态，并通过生成的视频结果判断机器人在模拟环境中的任务完成情况。这实际上是 Cosmos 最早探索机器人和 physical AI 方向的尝试。此外，我们也探索了 video model 在自动驾驶等场景中的应用。

但在进一步研究过程中，我们发现，仅具备 generation 能力是不完整的。如果模型只能生成未来状态，却无法理解当前环境和预测结果的意义，那么它仍然缺少真正的智能能力。因此，我们开始开发 Cosmos Reason 方向，希望构建一个面向 physical AI 的视觉语言模型（VLM）。简单来说，模型不仅需要能够生成未来状态，也需要具备理解和判断能力，能够具备自我评估能力（critic）评估结果是否合理。在此基础上，后续 Cosmos Predict 2、Reason 2 等版本主要围绕模型能力提升持续迭代。另外，我们还开发了 Cosmos Transfer，主要解决 simulation 中的一个实际问题。很多自动驾驶和机器人公司希望利用物理仿真环境进行训练，但传统 simulation 生成的画面通常不够真实，与真实世界存在较大差距。因此，我们设计了类似 ControlNet 的方案，通过输入质量较低的 simulation 图像或视频，将其转换为更加接近真实世界的合成数据，从而帮助机器人和自动驾驶模型进行训练。

不过，在持续开发多个模型之后，我们也意识到一个问题：如果不断增加不同功能的独立模型，可能会偏离我们最初追求的通用智能方向。每个模型都有实际价值，但真正的智能系统不应该只是多个独立能力的组合，而应该具备理解、预测和行动的统一能力。因此，我们重新思考了 agent 应该具备什么样的能力。参考一些关于 autonomous intelligence 的研究，一个真正能够自主成长的 agent，需要具备几个核心组成部分。首先，它需要有 critic 能力，能够判断当前行为是否有效；其次，需要有 world model，能够模拟不同动作可能带来的未来结果；最后，需要有 actor，能够采取行动并理解行动产生的影响。对于 physical AI 而言，这意味着模型需要同时理解 video、audio、text 以及 action 等不同模态，并能够在这些模态之间建立联系。

在 Cosmos 后续的发展中，我们关注的核心方向就是如何让 video、text、audio 和 action 进行有效对齐。如果不同模态能够共享一个统一表示空间，那么模型训练的数据规模就可以进一步扩展。例如，有些数据可能只有 video 和 action，没有 text；有些数据可能只有 video 和 text，没有 action。但通过不同模态之间的对齐，模型可以学习到共同的世界表示，从而提升整体的可扩展性。

最终，我们希望构建的是一个更加统一的 omni model，将 video、audio、text、image 和 action 等多种模态结合起来。这个模型既能够理解输入的信息，例如根据 video 生成 text 描述，也能够根据 text 或 video 生成 action，实现不同模态之间的转换和交互。

ZF：所以总结来看，Cosmos 的发展方向是希望通过一个统一模型，将 video、audio、text、image 和 action 等不同模态融合起来，并通过模态之间的对齐提升模型的泛化和扩展能力？

Max Li：是的。核心目标就是让不同模态能够在同一个空间中进行有效对齐，而不是依赖每一种任务都需要对应的数据组合。这样模型可以利用更加丰富的数据来源，例如只有 video 和 action 的数据，或者只有 video 和 text 的数据，通过跨模态学习建立更加通用的世界理解能力。

同时，我们也希望重新定义 action 在模型训练中的位置。传统观点中，action 通常被认为是 post-training 阶段的能力优化，但我们认为 action 本身也应该成为 pre-training 的重要数据形式。因为对于真正的 agent 来说，仅仅理解世界是不够的，还需要通过行动改变世界，并理解行动带来的后果。因此，action 应该和 video、text 一样，成为模型学习世界规律的重要组成部分。

统一模型的工程取舍：Understanding、Generation 与 MoT 架构

ZF：在 Cosmos 3 的设计中，你们希望通过统一模型实现不同模态之间的互相促进。但从已有研究来看，理解能力（understanding）似乎能够帮助生成能力（generation），而生成能力是否能够反过来提升理解能力还存在一定争议。你们是否通过实验验证过不同模态能力之间是否能够互相增强？

Max Li：这是一个非常好的问题，也是我们一直在思考的问题。在 Cosmos 的设计中，我们确实观察到，理解能力对于生成能力有非常明显的促进作用。具体来说，我们采用了一种先训练 understanding，再训练 generation 的方式。首先训练一个具备理解能力的模型，在这个基础上冻结 understanding 部分，再进行 generation 能力训练。实验中我们发现，当 reasoner，也就是面向 physical AI 的 VLM 能力不断提升时，generation 的质量、prompt following 能力以及整体生成效果都会得到非常明显的提升。这说明更强的 understanding 能力能够有效帮助 generation 能力发展。但反过来，generation 能力是否能够提升 understanding，目前我们还没有看到非常明确的实验结论，这也是未来值得进一步探索的问题。

从工程实践角度来看，第一代 omni model 如果同时训练所有能力，会面临非常大的风险。因为需要同时解决多个问题，包括不同任务之间是否存在梯度冲突（gradient conflict）、不同模态之间如何平衡、数据如何混合等。因此，我们选择了一个更加稳妥和可执行的方案：先训练 understanding，再训练 generation。在后续 generation 阶段，我们选择冻结 understanding 部分，而不是继续联合训练整个模型。这样的设计主要是为了降低训练复杂度，同时保证不同能力之间能够稳定协同。

ZF：所以目前 Cosmos 3 采用的是先训练类似 VLM 的 understanding 能力，再在此基础上训练 generation 能力的方案？

Max Li：对的。目前 Cosmos 3 采用的是这样的训练策略。但这里需要强调的是，我们并不是认为 understanding 一定比 generation 更简单，而是目前已经比较明确地观察到，strong understanding 能够帮助 generation 能力提升。至于 generation 是否能够反过来增强 understanding，目前还缺少非常有说服力的实验证据，这仍然是一个开放问题。

ZF：从架构设计来看，Cosmos 3 并不是完全统一的模型，而是采用了类似多模态专家（MoT）的方式，让不同模态采用不同处理机制。例如 text 使用 autoregressive 方式，video 采用 diffusion 方式。这也是为了第一代模型更加稳健地实现多模态融合吗？

Max Li：是的。采用这种设计主要是出于工程可行性和模型效果的考虑。在第一代Cosmos，我们发现完全采用 autoregressive 方式进行 image 或者 video generation，在当时的技术条件下效果并不理想，相比 diffusion 或者 flow matching 方案存在明显差距。当然，现在有很多研究开始探索更加激进的 autoregressive image 和 video generation 方向，但在 Cosmos 第一代设计时，我们发现 diffusion 方案仍然是更成熟、更有效的选择。因此，我们最终采用了针对不同模态特点进行设计的架构。比如 text 仍然采用 autoregressive 方式，而 video、audio 和 action 则采用基于 video generation 的统一建模方式。这样的设计能够充分利用不同模态自身的特点，同时降低第一代 omni model 实现的风险。

ZF：在模型 scale 方面，Cosmos 早期探索过程中，是否能够观察到比较清晰的 scaling trend？例如随着模型规模或数据规模增长，某些能力是在达到一定规模后突然涌现，还是一个渐进提升的过程？

Max Li：这个过程其实经历了几个阶段。最开始，我们主要开发 edge model，面向边缘算力应用场景。之后，我们逐渐将模型迁移到 nano model 阶段，也就是 8B 规模的模型，再进一步扩展到 32B 模型。在这个过程中，一个非常明显的观察是，8B 规模是一个重要节点。从 2B 到 8B 的提升，并不是简单的线性增长，而更像是模型能力从“无法工作”到“突然有效”的转变，出现了一些明显的能力涌现。而从 8B 扩展到 32B，则更多是在已有能力基础上的进一步提升，主要体现在减少生成中的各种生成瑕疵（artifact），使模型表现更加稳定。

另外，一个让我印象非常深刻的发现是在 8B 模型上的多模态扩展能力。最开始，我们主要以 video 为核心进行训练，因为经过 Cosmos 多轮迭代，我们已经比较确定 video generation 方向是有效的。之后，我们开始尝试加入其他模态，例如 action。实验结果非常令人惊喜：在加入 action 之后，video 质量几乎没有下降，但模型能够成功学习 action 相关能力。这说明即使是一个 dense 8B 模型，也具备非常强的 parameter efficiency，能够同时学习多种模态能力。这个结果也让我们进一步思考，如果将这种能力扩展到更大规模的模型，例如结合混合专家架构（MOE 架构）或者进一步增加模型规模，可能还有非常大的探索空间。

ZF：所以目前 Cosmos 采用的 MoT 架构，本质上是通过人为划分不同模态，让不同模态采用相对独立的处理方式，而不是像真正 MOE 一样通过 router 动态选择参数？

Max Li：是的，MoT 可以理解为一种更加工程化、更容易落地的方案。它实际上是人为根据模态特点进行划分，让不同模态拥有相对独立的参数空间。这种设计有明显优势，因为它能够降低训练复杂度，提高不同模态学习过程的稳定性。但它也存在一定局限：由于不同模态之间共享的参数有限，可能会限制它们在 latent space 中进一步融合和产生更深层次关联的能力。从长期来看，我认为更理想的方向应该是更加简单、更加统一的模型设计。理论上，模型架构越简单、依赖的人为经验规则越少，越有可能学习到更加自然和通用的智能能力。但在当前阶段，考虑到训练难度和工程可行性，MoT 仍然是一种更加实际的选择。

ZF：在 world model 的发展中，很多研究者非常关注表示学习（representation learning）。对于 Cosmos 而言，在视觉和音频等模态的表示学习上，你们更倾向于采用基于 VAE 的 tokenizer 和 encoder 设计，还是探索更加统一的 latent space？

Max Li：这是一个非常重要的问题。我认为未来会有几个比较明确的发展趋势。首先，统一的 tokenizer 一定会成为一个重要方向。理解能力和生成能力没有理由必须依赖完全不同的表示方式。目前很多方法是在两个方向之间进行权衡：一类更加关注像素空间的重建能力，希望尽可能保留视觉细节；另一类更加关注与语言空间的对齐，以及模型对于信息的理解能力。但我认为，在这两个方向之间一定存在一个连续的 latent space，它既能够支持模型理解视觉信息，也能够通过合适的 decoder 实现较高质量的视觉重建。从人类视觉系统来看，我们并不是通过两个完全独立的系统分别完成视觉理解和视觉生成，而是在一个统一的视觉表示空间中完成感知、理解和预测。因此，未来的视觉表示学习也应该朝着更加统一的方向发展。

另一个重要方向是基于自监督学习的表示方法，例如 DINO、JEPA 等相关研究。这些工作证明，通过自监督学习得到的表示能力，可以支持大量下游视觉任务，例如分割、深度预测以及其他视觉理解任务。从长期来看，我认为这些方向最终可能会逐渐融合。人类的大脑并不是由多个完全独立的区域分别处理视觉理解、视觉生成和任务预测，而是存在大量的信息交互。因此，如何构建一个更加统一、高效的表示空间，是未来非常重要的研究方向。

表示学习的重要性非常高，因为它直接影响模型训练效率。如果完全不进行信息压缩，模型计算成本会非常高，训练效率也会受到限制；但如果压缩程度过高，又会导致关键信息损失。因此，如何在压缩效率和信息保留之间找到平衡，是表示学习中的核心问题。

ZF：Cosmos 同时涉及 video、audio、text、action 等多个模态。在多模态训练过程中，不同数据规模差异非常大，例如 action 数据可能远少于 video 数据。你们如何进行 data mixing，确保小规模模态不会被大量数据淹没？

Max Li：我认为过去 data mixing 更多是一门经验性的工作，很大程度上依赖研究人员的直觉和判断。当然，也存在一些比较常见的方法，例如根据数据规模采用一定比例调整策略。但在现在这个阶段，我认为 data mixing 已经不再完全是一个黑盒问题。核心原因是，我们可以通过更加系统化的评估方式，去理解不同数据的价值。

过去 data mixing 困难，主要是因为我们无法准确衡量每一个数据样本或者 token 的难度。不同任务、不同领域的数据，即使属于同一种训练目标，难度也可能存在巨大差异。例如，人脸生成通常比山川、海洋等场景生成更加困难，因为其中包含大量人类对于结构、细节和语义的先验理解，而这些差异很难通过一个简单指标体现。

因此，我们需要通过实验建立对于数据难度和价值的评估方法。过去，这类实验通常需要研究人员人工设计，并依靠经验判断不同数据应该如何组合。但随着 agent 技术的发展，我认为这种情况正在发生变化。过去大量需要人工投入的实验探索，如果能够通过 agent 自动完成，那么数据混合策略的优化就可以更加高效。所以我的观点是，data mixing 仍然是一门需要经验判断的艺术，但随着当前技术的发展，它正在逐渐变得更加系统化。未来，我们应该能够通过自动化实验和模型反馈，更科学地设计多模态数据混合策略。

Physical AI Agent 需要什么：Reasoning、Memory 还是 Thinking

ZF：Cosmos 3 目前仍然是一个开放式架构，本身并不包含 agent 调用或者完整的 reasoning 机制。虽然其中有 reasoner 模块，但它并不是经过强化学习（RL）训练、具备完整思维链（CoT）能力的 reasoning model。在后续版本中，你是否计划进一步引入 reasoning 或者 agent 相关能力？你如何看待大语言模型中的 reasoning 范式对于多模态模型的影响？

Max Li：先做一个澄清，Cosmos 其实已经包含 reasoning 能力，只是正如你提到的，我们没有通过专门的 reasoning post-training 或者 reasoning RL 进一步强化这一能力。目前我们的训练数据中包含一定的思维链（CoT）数据，但并没有针对 reasoning 能力进行专门优化。

我认为 reasoning 是 omni model 中非常重要、甚至不可缺少的一部分。之前 DENNY ZHOU 提出过一个很有启发性的观点：reasoning 本质上是在调整模型对于下一个 token 的概率分布，使其逐渐朝着更符合目标、更合理的方向收敛。在最开始生成时，模型对于不同可能性的判断可能比较分散，概率分布也没有明确方向。但随着 reasoning 过程展开，模型逐渐缩小搜索空间，使最终结果更加符合人类偏好。因此，我认为 reasoning 不仅适用于语言模型，对于多模态模型同样非常重要。具体应用场景非常广泛，例如在 image generation 中，用户输入的 prompt 通常可能比较简单、模糊，甚至不够符合生成模型理解方式。如果模型具备 reasoning 能力，就可以先对用户意图进行分析和扩展，对 prompt 进行优化，再进行图像生成，这可能会显著提升最终生成质量。另一个非常明显的应用是在 action 场景中，也就是通常所说的 system 1 和 system 2 能力。System 1 代表快速、直觉式的反应，例如简单的数学计算；而 System 2 则需要更加复杂的分析和规划。对于机器人任务来说也是如此。例如，“把厨房打扫干净”并不是一个可以直接执行的任务。机器人需要先理解环境，将任务拆解成多个步骤，例如发现地上的碗、判断椅子位置、把碗放入水槽、整理桌面等。这种任务执行过程需要一定程度的 System 2 reasoning。因此，我认为 reasoning 本身是必需的，但未来仍然有一个开放问题：这种 reasoning 即使是显示，也有很多值得探讨的问题。

ZF：刚才提到的很多 reasoning 案例，本质上仍然是语言驱动的推理。你是否考虑过更加交错的多模态推理方式，例如语言生成部分 token 后，再通过 video imagination 进行推理，再回到语言空间继续推理？

Max Li：我认为这种 interleaved reasoning 非常有价值，因为很多问题并不能仅仅在语言空间中完成推理。这一点在 action 任务中尤其明显。例如，如果我希望你从一个书架上拿下一本特定的书，仅通过文字描述可能会产生非常大的歧义。比如“拿右侧第四本竖着放的书”，不同人对于空间关系的理解可能完全不同。但如果直接提供视频，人可以非常快速地理解环境并完成任务。

这其实反映了人类学习方式中的一个重要特点。假设一个人从来没有修理过汽车，如果让他学习如何维修，他可能不会选择阅读大量文字说明，而更倾向于观看视频教程。因为视觉信息能够提供更加直接、密集的环境理解。类似地，IKEA 家具安装说明、PowerPoint、视觉化图表以及各种 diagram 存在的原因，都是因为很多信息无法简单压缩成文字表达。视觉表示能够承载大量空间关系、结构信息和上下文信息，这是语言无法完全替代的。因此，我一直认为多模态 reasoning 是一个非常重要的方向。未来真正强大的智能系统，不应该只是在语言空间中进行推理，而应该能够在语言、视觉、视频以及行动之间进行交互式推理。我也希望未来 Cosmos 能够进一步探索并开放这样的能力。

ZF：刚才提到的一些应用场景，都涉及较强的 in-context learning 能力。对于语言模型来说，这也是一个非常重要的能力。近期也有研究提出，机器人除了依赖预训练能力之外，在执行任务时，可能还需要通过检索相关经验，将相似动作和知识组织成可复用的 skill。你认为 Cosmos 这样的架构是否天然适合学习这类 skill？未来机器人智能的发展，应该更多依赖大规模预训练，还是需要结合这种基于经验的学习方式？

Max Li：我认为 in-context learning 非常重要，甚至可以说，它接近于 agent 能力的定义之一。如果我们思考什么是真正的 agent，本质上就是一个系统能够适应环境，并根据新的情况不断调整自身行为。例如，为什么 coding agent 会被认为是一个重要突破？因为它实际上体现了一种快速适应环境的能力。一个刚加入团队的工程师，在导师指导几周之后，就能够理解团队的工作方式、代码规范以及任务目标，并逐渐独立完成复杂任务。这种从环境中学习并调整自身行为的能力，就是 agent 的重要特征。实现这种能力可以有不同方式，例如 in-context learning，或者通过 parameter update。但核心要求是一致的：模型需要能够适应新的环境，并根据反馈不断优化自身行为。同时，模型还需要具备可控性。如果用户告诉模型某些信息属于内部内容、不应该对外传播，模型需要理解并遵守这样的约束，否则就无法真正应用于现实场景。

从 agent 架构来看，我认为几个核心能力是不可缺少的。首先是 critic，模型需要能够判断自己的行为结果是否有价值；其次是 world model，模型需要能够模拟行动可能带来的结果；第三是 action，模型需要能够采取行动改变环境。除此之外，记忆能力（memory）也非常重要。LeCun 也曾提出智能系统还需要具备根据场景组合不同能力的机制，以及根据当前任务选择合适能力模块的能力。如果总结当前 agent 最核心的能力，我认为 critic、world model 和 action 是三个关键组成部分，而这些能力都需要一定程度的 in-context learning，或者更加高效的参数更新机制，才能真正应用于现实世界。

ZF：Cosmos 的训练路线是从一个 VLM 基础模型开始的。我们前面讨论了很多未来能力，包括 reasoning、agent 能力、tool calling 以及多模态推理等。一个已经具备较强能力的 VLM，例如 Nemotron，理论上已经包含部分相关能力。为什么没有直接基于现有 VLM 继续扩展 Cosmos，而是选择重新训练一个针对 physical AI 的小型 VLM，再进一步发展？

Max Li：首先需要澄清一点，Cosmos 并不是完全从零开始训练，我们是基于 Nemotron 和 Qwen 进行训练的。另外，我认为 computer agent 和 physical AI agent 本质上需要不同的能力组合。虽然它们都涉及理解和行动，但关注重点并不完全一致。例如，对于 computer agent 来说，代码理解能力可能非常重要；但对于 physical AI 来说，更重要的可能是长视频理解、事件理解、时间关系建模以及环境变化感知能力。这些能力对于机器人理解真实世界非常关键，而一些语言模型中的能力，例如纯文本理解或者 OCR 能力，可能并不是 physical AI 最核心的需求。因此，即使都是“理解模型”，computer agent 和 physical AI agent 最终可能会落在不同的设计空间。

ZF：你刚才提到 computer agent 和 physical AI agent 可能存在不同的推理模式。我想到一个例子：coding agent 执行任务时，可能可以先运行代码，再根据结果获得反馈；但 physical AI 在现实世界执行动作前，通常需要提前考虑后果，因为错误成本更高。你是否认为两类 agent 的推理方式会存在明显差异？

Max Li：我完全同意。不同 agent 的推理方式可能存在本质区别，这也是为什么同样是理解模型，最终可能需要不同的架构设计。

ZF：我最近在使用自动驾驶系统时发现一个问题：车辆在一个停车场中行驶多圈后，似乎并不能很好地记住之前经过的位置，缺少长期感知能力。因此，一些机器人研究者认为 long-term understanding 并不是当前最重要的问题，而另一些人认为这是核心能力。你怎么看待 long-term understanding 和 long-term video generation 的重要性？未来系统应该关注较短时间窗口内的连续决策，还是需要具备长期记忆和一致性？

Max Li：我认为 memory 和 long context 是不可避免的重要能力。你提到的问题实际上是经典的 loop closure 问题，也就是系统经过一段时间运动后，需要知道自己回到了之前的位置，而不是认为进入了一个新的环境。解决这类问题其实可以通过一些工程方法实现。例如，如果车辆经过一圈后 GPS 显示回到了同一个位置，可以通过规则告诉模型：“你已经回到原点”，从而避免重复探索。但这种基于人工规则的方法永远无法覆盖所有情况，因此最终还是需要模型真正理解环境，并具备长期记忆能力。

之所以目前 long context 看起来没有成为最核心的问题，是因为很多更基础的短期任务还没有完全解决。当前机器人和自动驾驶领域仍然存在大量短时间尺度上的决策问题，整个技术路线还没有完全收敛。自动驾驶已经是 physical AI 中相对成熟的领域，但即使如此，真正解决所有 long-tail case 仍然需要很长时间。技术成熟往往需要远超预期的周期。一个有趣的例子是，我的导师Russell H. Taylor 在上世纪 60 年代的博士论文 The Synthesis of Manipulator Control Programs from Task-Level Specifications 中就提出过类似“Code as policy”的思想，即通过 AI 生成程序，并利用程序自动化现实世界任务。这个方向在今天仍然是非常前沿的研究领域。这说明很多 AI 概念可能很早就被提出，但真正实现往往需要几十年的技术积累。因此，我并不认为大家不重视 long context。实际上，目前仍有大量研究关注更长时间尺度的任务。但当前的问题可能是，我们甚至还没有完全解决短 context 下的可靠性问题，所以距离真正解决长时间任务还有一定距离。未来，当短期能力逐渐成熟后，long context 和 memory 的重要性会进一步体现。

Action 不是单一模态：跨 Embodiment 的迁移与机器人形态之争

ZF：接下来我们回到 action 这个问题。我们之前把 action 作为一种 modality 来讨论，但实际上 action 可能并不是一种单一的 modality。不同机器人之间，比如机械臂、不同尺寸和形态的人形机器人、四足机器人，它们的 action space 和自由度定义都完全不同。以我的理解，不同 embodiment 之间的 action 是否具备迁移能力？还是说每当出现一个新的设备，就需要重新设计一套 action representation？有没有可能建立一个统一接口，让 action 在不同设备之间具备一定程度的 transferability？

Max Li：这是一个很好的问题。我觉得可以从两个层面回答。第一个比较直接的答案是：不存在一个算法可以直接在所有机器人或者所有设备上通用。这个问题和计算机领域有很大的区别。如果你研究过制造业或者机器人生产，会发现现实世界中的生产和质量控制非常复杂。即使是同一个产品，在不同设备、不同生产流程、不同硬件条件下，也可能存在差异。因此，一个算法希望完全适配所有机器，本身就是非常困难的事情。同样的道理，对于机器人来说，不同设备之间一定存在设计差异。例如不同无人机、机械臂或者车辆，即使执行类似任务，也会因为硬件结构、传感器配置和控制方式不同，而需要一定程度的 adaptation。所以，如果说一个算法完全不需要任何调整，就能在所有机器人上运行，我认为基本是不现实的。机器人和计算机最大的区别就在于，它们本质上存在 embodiment difference。

但是另一方面，我认为一定存在可以迁移的部分。举一个简单的例子，你玩过《黑神话：悟空》，你给一个游戏角色输入控制指令时，并不会觉得自己是在控制一个陌生对象，而是会自然地把自己的意图映射到这个角色上。如果把这个角色换成一个完全不同形态的生物，比如一个章鱼，在水里移动，你仍然可以理解“向前移动”“抓取物体”这些目标。这说明人的高层目标和动作意图本身是可以迁移的。

所以在 Cosmos 3 的 action 设计中，我们重点考虑的问题就是：哪些信息是 embodiment-specific 的，哪些信息是跨 embodiment 通用的。例如，我不关心一个章鱼具体如何通过触须移动，但我关心它是否完成“向前移动”这个目标。我们希望 action representation 更多关注任务目标和环境交互，而不是具体机器人的执行方式。因此，回到你的问题，我认为 action 一定存在 transferable 的部分，但不可能完全脱离具体 embodiment。我们需要通过设计找到适合迁移的 representation，同时保留一定程度的设备适配能力。

ZF：所以总结一下，你的意思是，我们需要找到一种跨 embodiment 的 representation。这个 representation 更关注任务目标，而不是具体动作形式。比如无论机器人是什么形态，最终目标都是“向前移动 10 厘米”或者“把物体拿起来”，具体如何实现，则交给不同 embodiment 自己解决。

Max Li：对的。如果展开来说，这其实对应机器人控制领域中的不同层级。传统机器人控制通常包括 high-level controller、mid-level controller 和 low-level controller。我认为 low-level controller 很难完全统一，它一定需要依赖具体 embodiment 的数据和硬件特性。但是 high-level controller，甚至部分 mid-level controller，是有可能实现统一的。

ZF：当然这里可能还有一些限制，比如没有轮子的机器人不可能在规定时间内移动很远，所以 embodiment 本身还是会影响能力边界。但我理解你的意思，就是通过目标层面的统一 representation，可以更好地解决跨 embodiment 的问题。那么从 AGI 或通用机器人发展的角度来看，现在很多人关注 humanoid robot，因为人形机器人和人类环境天然匹配。但另一方面，在很多工业场景，比如制造业，专用机械臂可能更加高效。你怎么看这两条路线？未来是应该追求人形机器人，还是针对不同场景设计不同机器人？

Max Li：我可以分享一个比较有意思的观察。如果你看机器人 gripper，尤其是比较简单的 parallel gripper，它的手指长度通常在 10 到 15 厘米左右，这个范围和人类手指长度非常接近。原因其实很简单，因为绝大多数人类世界中的物体，本身就是按照人的尺寸和能力设计的。所以机器人如果希望进入人类生活环境，具备类似人的形态确实具有一定优势。这也是为什么很多人认为 humanoid robot 有潜力，因为我们的世界本身就是为人类设计的。但是，我并不认为人形机器人一定会完全替代其他机器人。人形机器人目前仍然存在很多工程挑战，比如 dexterous hand 的精度、耐久性、稳定性和重复性问题。

相比之下，一些非常成熟的专用机器人设计，比如简单的 parallel gripper，虽然功能没有人手丰富，但它非常稳定、可靠，而且成本更低。实际上，人手最大的优势是 versatility，也就是通用性，但它并不一定是在所有任务上性能最优。举一个例子，扫地机器人或者吸尘器就是非常优秀的专用工具。如果让人用手去一点一点捡地上的灰尘和沙子，其效率反而非常低。所以这里存在一个 trade-off：一种方向是追求 versatility，也就是像人一样能够适应各种任务；另一种方向是追求 specialization，在某个具体场景下做到极致。

这有点类似 GPU 和 TPU 的关系。GPU 是非常通用的计算平台，只要算法可以运行在 CUDA 上，就可以使用 GPU。而 TPU 是专门优化某些计算任务的 ASIC，它在特定场景下效率更高，但适用范围更有限。你不能简单说 GPU 或 TPU 哪个更重要，它们服务的是不同需求。同样，人形机器人和专用机器人也是类似的问题。如果看长期，比如几十年之后，我认为人形机器人很可能会成为重要方向，因为它和人类环境高度匹配。但如果看短期，比如未来几年，人形机器人虽然非常有潜力，但其他专用机器人仍然具有明显优势。最终可能会是两者共存，而不是一个完全取代另一个。

机器人真正的落地：从 General Robot Agent 到 Physical AI 的开源基础设施

ZF：那我们回到更长远的愿景问题。在你的愿景里面，robotics 要做到什么程度，或者达到什么样的应用场景，你会认为它是一个成功？比如说像 Tesla 一样，机器人进入很多家庭，或者是在大量工业场景里面被广泛应用。你觉得 robotics 在什么时间窗口内会达到怎样的效果？

Max Li：我觉得 robotics 其实已经无处不在，只不过我们对于“什么是 robot”的定义可能不同。如果把所有能够自主运动、具备一定智能、并且不是由人直接操作的机器都算作 robot，那么机器人其实已经存在很多年了。最早的制造业机器人就是典型例子。现在去看很多生产线，比如中国的一些电子制造、无人机制造、汽车制造工厂，生产线上已经很少看到大量人工操作，很多环节实际上已经由机器人完成。甚至一些日常设备也可以看作机器人，只是智能程度不同。所以机器人本身已经存在，我们真正需要讨论的是下一阶段什么样的突破才算成功。

如果 robotaxi 能够真正大规模普及，我觉得这会是一个巨大的突破。我们看到一些区域，比如硅谷，自动驾驶已经非常普遍，但如果去其他国家或者美国很多普通地区，并不是这样。技术本身只是其中一个因素，基础设施、法规、社会接受程度以及商业模式都会影响技术扩散。这也是为什么技术真正产生影响，不只是需要解决技术问题，而是要帮助技术完成 diffusion，让它进入更多人的生活。比如现在 ChatGPT 在技术圈非常普及，但并不代表全世界所有人都已经使用它。很多技术从诞生到真正改变社会，需要经历很长的扩散过程。所以我觉得未来几年，如果自动驾驶能够真正大规模落地，会是一个非常大的突破。再往后，如果机器人能够进入工厂，替代大量重复性的生产工作，会是另一个重要阶段。至于家庭机器人，我觉得可能会更晚一些。

ZF：我一直有一个疑问：我们追求的是 general intelligence，而不是一个个专用机器。比如一个机器人只负责扫地，一个机器人只负责洗衣服，一个机器人只负责叠衣服。我们真正想要的是一个 general robot agent。从成本角度来看，这可能有很大的意义。比如未来工厂不再需要为每一道工序配置固定机器，而是拥有多个 robot agent，根据任务动态分配能力。这样整个制造体系会更加灵活。除了成本和效率之外，你觉得我们追求 general robot intelligence 的核心意义是什么？

Max Li：我非常同意这个方向。我不认为未来的模型应该只能完成一个任务。传统机器人其实本质上是通过一种类似编程语言的方式控制，比如早期工业机器人使用 G-code，通过明确告诉机器人从哪个坐标移动到哪个坐标，完成固定动作。如果一个模型只能完成一个固定任务，本质上只是给传统程序加入了一些概率分布，让它对于环境变化更加鲁棒一些，但它仍然没有跳出预先定义的范围。真正的 intelligence 应该是能够打破这种限制，比如 coding agent 的价值就在于，你告诉它一个目标，它能够理解目标、规划路径、执行任务，并根据反馈调整。这才是真正意义上的 agent。机器人也是一样。如果未来机器人只能完成某个固定任务，它依然只是一个更复杂的自动化设备。真正的 robot intelligence 应该能够理解环境、适应变化，并完成之前没有被明确编程过的任务。

ZF：这个过程其实和语言模型的发展类似。语言模型从固定程序走向 general agent 之后，大家开始关注安全性。机器人领域可能也会面临类似的问题。那么 robot 安全性是否是一个重要研究方向？应该如何解决？

Max Li：我觉得安全性一定是非常重要的问题，只是它的发展阶段可能和技术成熟度有关。在早期阶段，一个技术如果没有大规模应用，大家对于安全性的关注通常不会特别高。但当一个系统真正进入现实世界，并且影响大量人的生活时，安全问题一定会成为核心。

比如第一代 GPT 出来的时候，大家对于 AI 安全性的关注并没有现在这么强烈。但如果未来某一天出现一个能力非常强、影响非常大的模型，大家一定会重新审视所有安全性问题，包括如何设计限制机制、如何保证系统行为符合预期。所以我觉得安全性是一个长期的重要方向，可能也是未来很多研究者可以持续投入的领域。

ZF：最后一个问题关于 NVIDIA 和 Cosmos。NVIDIA 有 NIM 和 Cosmos。据我了解，NVIDIA 对一些模型的定位可能更多是生态建设，而不是单纯追求模型性能。对于 Cosmos 来说，你觉得 NVIDIA 对它的期待，以及它希望在 robotics 领域占据什么样的位置？

Max Li：我不从 NVIDIA 的角度判断，我更多从我个人参与 Cosmos 过程中的理解来看。我一直非常佩服阿里的千问团队，他们不仅模型能力强，同时开源生态也做得非常好。我一直希望 Cosmos 也能成为 physical AI 一个代表性的开源基础设施。当大家想到 physical AI 时，会想到 Cosmos。如果 Cosmos 能达到这个目标，它意味着它可能成为一个领先的开源模型，成为研究社区的基础平台。大家可以基于它探索更多方向，比如 long context、safety、agent 等问题。我们也一直在学习优秀开源项目的经验，包括开源策略和模型质量控制。我们会有自己的方向和差异化，但希望 Cosmos 能成为 physical AI 领域真正有影响力的基础模型。

ZF：我觉得这个目标可能不仅限于 robotics。对于 video generation 来说，社区也可能期待 Cosmos 成为一个重要基石。

Max Li：我们也感谢社区的期待。不过 Cosmos 从设计初衷来看，更关注 physical AI，而不是单纯的内容生成。我们过去并没有重点做那些非常炫酷的视频生成 demo，因为我们的训练目标和数据分布本身更加偏向 physical AI 场景。我们的目标不是简单生成一个漂亮的视频，而是希望构建一个能够理解物理世界、帮助 AI agent 在现实世界中工作的基础模型。我们的目标是围绕真实世界的复制和建模来定义 training data、evaluation 和目标用户群体。在这个过程中，虽然我们的重点不是 content creation，但很多基础的能力可能会对其他 video generation 应用产生影响，比如内容生成等方向。如果这些能力最终能够被应用到更广泛的场景，我们当然也会非常高兴。

ZF：机器人模型（Policy）可能没有办法很好的 evaluate，如果每个团队都在自己的 evaluation setup 和自己的 data 上测试自己的算法，那么整个领域就很难衡量真正的 progress，也无法形成有效的 benchmark。你怎么看待建立统一、有挑战性的 evaluation framework？

Max Li：我同意 evaluation 的重要性，world model 成为一个有可能提供可重复的 evaluation system。现在也有很多团队在探索不同方向，比如 policy evaluation。一个方向是希望训练一个 evaluator agent，它接收 policy 输出的 action 作为输入，然后生成照片级真实的视频，用来评估 policy 的表现。因为很多 policy model 都假设输入是高度真实的视频，所以这种方向也非常有价值。

ZF：从 robotics 的角度来看，我觉得最终的评价标准可能并不是 video generation 的质量，而是 action 本身是否有效。对于机器人来说，video generation 更多是辅助能力，只要能够在语义上正确理解环境，并帮助完成任务，最终还是要回到 action performance。

Max Li：这个观点我部分支持，我觉得两个方向都很重要。Policy model 可能更加直接，因为它最终输出 action，能够真正完成任务，因此有更多实际应用价值。但 evaluation 同样关键。如果没有好的 evaluation 标准，整个领域就无法判断不同方法之间的进步。

请注意，此次访谈内容已经过精心编辑，并得到了 Max Li 的认可。我们也欢迎读者通过留言互动，分享您对本访谈的看法。

本期访谈飞行 Host 柴文浩，是普林斯顿大学计算机科学博士生，谷歌 DeepMind Student Researcher。