一个能拿 79 分的机器人模型,和一个被撤掉的团队

0 评论 125 浏览 0 收藏 18 分钟

GPT-6.2 Astra 在机械臂真机评测拿到 79 分,比前代高 10 分,八项桌面操作做成六项。而发布前五天,OpenAI 撤掉了独立机器人团队。通用模型接手机器人之后,具身智能的路线正在被重写。

我们必须感知才能行动,也必须行动才能感知。——詹姆斯·吉布森,《视知觉的生态学进路》

11 月18 日,OpenAI 发布 GPT-6.2 Astra。同一天在 Artificial Analysis 的机械臂真机评测中,新版拿到 79 分,前代 GPT-6 Astra 是 69 分。八项桌面操作中,新版通过 Codex 控制机械臂,完整做成了六项。比如,把积木按形状放进对应的槽位,前代只拿到部分分,新版完成了整项操作。

Artificial Analysis 官方 AA-Robotics 真机评测榜单

就在新版发布前五天,OpenAI 向《财富》确认,公司撤销了独立机器人团队。研究人员并入首席研究官 Mark Chen 主管的核心研究团队,应用机器人和硬件人员则转入总裁 Greg Brockman 主管的 Applied 部门。

不到半年前,Sam Altman 还在为 OpenAI Robotics 同时招募硬件、系统、运营和机器学习工程师,强调机器人硬件要和模型一起设计。现在,这些工作分属两个部门。

OpenAI 给出的理由是,公司年初原本打算从 Sora 一类视频模型继续做机器人研究,后来发现,GPT-6 Astra 等通用模型已经可以直接参与部分机器人任务。公司据此把相关研究并入主模型团队,硬件和应用研发则继续进行。

OpenAI 没有公开促成这一判断的内部测试。外部研究者做的实验提供了另一种观察方式:把通用模型接到机器人上,看原来需要另外训练的那套模型,有多少工作可以交给它。

重建团队时,OpenAI 还缺什么

在 2024 年 1 月播出的《Unconfuse Me》访谈中,比尔·盖茨问 Altman,ChatGPT 已经能帮助人做一些脑力工作,什么时候能帮人做体力工作?Altman 回想起 OpenAI 早年的机器人项目:仿真器不好用,机械手的腱绳老是断,研究者花了很多时间让机器运转,却没能更快推进机器学习。

当时他的判断是,先在语言等领域发展智能,再把它用到物理世界。到这次访谈时,语言模型已经能听懂指令,新的机器人硬件也让他看到了再试一次的机会。

OpenAI 在这一年重建了机器人团队。11 月,曾负责 Meta 头显硬件的 Caitlin Kalinowski 加入。次年 1 月公布的职位已经提到,公司要开发自己的机器人,并为它定制传感器。与此同时,团队还要解决一个语言模型没能解决的问题:机器听懂了「把面包放进烤面包机」,它该向自己的机械臂发出什么指令?

据《Business Insider》报道,OpenAI 从 2025 年 2 月开始在旧金山采集机器人动作数据。操作员用 3D 打印的控制器遥控 Franka 机械臂,最初反复把橡皮鸭放进杯子,后来改做放面包、叠衣服等任务。

到 2026 年 1 月,约 100 名采集员分三班工作,几十个工位昼夜运转。有知情人士说,团队把部分数据用于仿真训练,也定期在机械臂上测试。

一段普通视频能拍下面包被放进烤面包机。遥操作示范还会记录与画面对应的机器动作。机械臂怎样靠近面包、夹爪什么时候合拢、拿起来后要转多少角度,都可以成为训练样本。

跟遥操作采集并行的,还有一条从视频入手的路线。OpenAI 发布 Sora 时,提出可以用视频生成来研究物理世界的模拟:要生成一段物体被推动的画面,模型得学会一些关于运动和接触的规律。

2026 年 3 月,OpenAI 宣布停运 Sora 产品时,仍表示会继续面向机器人的世界模拟研究。两个月后,Altman 说,由 Aditya Ramesh 负责的世界模拟项目已发展成 OpenAI Robotics。

从 Sora 到 Astra,变的是 OpenAI 对通用模型在动作生成中能做什么的判断。沿 Sora 做下去,研究者想先弄清模型从视频里学到了哪些物理规律,再研究怎样把它们用到动作上。

Astra 等模型已经能读入画面和机器人状态,给出一部分可以执行的动作。研究者由此可以从一个已有的模型出发,先测哪些动作它能直接做,再看哪里需要补训。至于旧金山采集的数据有没有进入 Astra 的训练,OpenAI 没有披露。

这种区别在 OpenAI 第一次做机器人时还不存在。2016 年,公司提出用市售机器人完成基本家务,以此检验一种学习方法能不能用于不同任务。团队后来选了魔方:转哪一面由现成的求解算法决定,机械手要学的是怎样握稳、翻转和拨动它。研究者在仿真里改变摩擦、质量等条件,2019 年把学到的动作迁到了真机,完成了单手复原。

仿真让机械手能在不同条件下反复练同一项操作,但解开魔方,离学会一组可以用在其他任务上的动作还有距离。OpenAI 于 2020 年停掉这轮研究。联合创始人沃伊切赫·扎伦巴次年解释,机器人缺少可用于预训练的大量数据,而在数据更丰富的领域,同样的研究投入能更快推动通用智能。

OpenAI 2019 年公布的单手解魔方实验。图片来源:OpenAI

Astra 开始决定夹爪怎么动

Astra 推出后,研究者开始测试,它能在机器人完成一项任务的过程中接手哪些工作。斯坦福和加州理工的团队把它接到一台宇树 G1 上,保留了机器已有的导航、抓取和开抽屉等技能,让 Astra 根据任务指令和现场画面决定下一步该调用哪项技能。

G1 先探索一间陌生的厨房,沿途记录位置和画面。接到取药指令时,药瓶还在视野之外,Astra 根据先前的记录定位抽屉,决定走到哪里、用哪只手、调用哪项技能。开抽屉时怎样对准把手、勾住它再后退,已经由本地技能实现。

这套系统省去的是针对这间厨房、这项任务再训练一套策略:Astra 可以把机器已经会做的动作重新排成一套流程。

如果夹爪合上却没抓到东西,本地技能可以换一个抓取姿态重试;试过仍不行,再把失败原因交给 Astra,由它决定要不要换站位或改计划。这个分工留下了一个问题:拿掉现成的抓取技能,Astra 能不能自己给出夹爪该去的位置?

HomeBody 在厨房执行整理任务。图片来源:HomeBody 项目组

英伟达把控制接口开到了这一步。Astra 看过画面和机器人状态后,直接给出夹爪下一步的位置、朝向以及开合指令。研究者没有针对这些任务微调 Astra,也没有让一个专项训练的抓取模型替它决定从哪个角度接近物体。控制器仍然负责把目标换算成各个关节的实际运动。

在 RoboLab-120 的 120 项仿真抓放任务中,每项测试五次。Astra 直接给出夹爪目标,成功率为 66.3%;换用保留观察、动作和反馈的 Codex 会话,并调整执行设置后,成功率为 74.8%。

同一研究还试过保留专用动作模型,让 Astra 检查它提出的动作,并在必要时纠正。专用模型单独运行的成功率为 36.8%,加入 Astra 后为 66.5%。接入通用模型之后,研究者可以把原来给动作模型的工作交出去,也可以保留它,只把一部分纠错交出去。

RoboLab-120 的仿真抓放场景。图片来源:英伟达

这些效果有多少来自模型,有多少取决于它怎样接上机器?苹果的 AMP1 论文提供了一个对照。两套系统用同一个 Claude Opus 5.5,做 RoboLab-120 里相同的 30 项任务。在英伟达的框架中,成功率为 25.3%;在苹果的框架中是 84.7%。苹果让模型查询深度、更新对场景的描述,还能写代码生成一段运动轨迹。

模型和题目相同,但观察方式和动作接口都变了,差距无法归给某一个工具。这组数字也说明,只报模型名,很难判断它实际接手了多少工作。

能给出动作和能连续控制,是两回事

在英伟达的一次仿真实验中,Astra 指挥机械臂把一个红色酸奶杯放进红碗。机械臂只动了 5.2 秒,算上 Astra 的 12 次推理,整个过程接近四分钟。

在直接输出动作的配置下,模型平均每次调用要等约 19 秒。仿真可以在两段动作之间停下来,真机上的物体一旦滑动,系统却得在它落下前作出反应。

苹果把类似的办法用到了真机上。它的 AMP1 让 Claude Opus 5.5 根据画面写代码,生成机械臂要走的轨迹。开启错误恢复后,108 次试验成功了 104 次。成功的试验平均耗时 280 秒,其中 211 秒花在模型推理上。测试主要在相对静止的桌面上进行,机械臂可以等下一段轨迹算好再动。一旦开始执行,模型就不能中途改写这段轨迹。

人形机器人弯到一半,身体还得保持平衡。苹果在另一项研究 HALO 中,把决定下一步和控制身体交给了不同的模型。宇树 G1 背上的 Mac mini 运行 Qwen,由它看着画面判断要不要弯腰穿过桌下、什么时候起身、失败后该不该重试。

至于身体怎么弯、脚落在哪里,由专门训练的模型生成动作;机器人自身的追踪策略再以每秒 50 次的频率更新关节指令。Qwen 大约每两秒决定一次下一步,这两秒里,机器人自身的追踪策略已经更新了约 100 次关节指令。

动作策略还要单独训练,搭训练场的一部分工作已经可以交给通用模型。11 月 17 日,《The Information》刊出了对英伟达机器人与边缘 AI 副总裁 Deepu Talla 的采访。他说,过去搭一个数字孪生场景,有时光是准备环境就要几个月。

他估计,借助 Astra 这类智能体,部分仿真场景的搭建效率有望达到原来的约 100 倍。他也给出了另一个约 100 倍的估计,指的是读设备手册、编写工厂系统对接代码。

10 月 21 日,Jensen Huang 在柏林 GTC 上展示了小型机器人 Microduck。英伟达让 GPT-6 Astra 制作坡道等障碍物、布置仿真场地,再在 Isaac Lab 里单独训练行走和避障策略。据 Deepu Talla 回忆,这场演示从构想到部署用了不到一周。

谷歌用这些样本微调已有的视觉—语言—动作模型(VLA)。这类模型根据画面和任务指令,给出机器人可执行的动作指令。微调后,对应真机任务的成功率从 56% 升到 75%,完成时间从 35 秒缩短到 24 秒。

仿真训练究竟教会了模型什么?Luma 把 Qwen 3.6 和经过仿真动作训练的版本 ZAP 放到同一个场景里。指令是把较小的物体放进灰箱,两个版本都认出了黄油盒,也都选了右臂。

原始 Qwen 却在盒子上方约六毫米就合拢夹爪,抓了个空;ZAP 把夹爪降到盒子两侧,再合拢,把它拿了起来。在这组仿真对照里,两个版本对目标物、放置点和操作顺序的判断,在超过九成的场景中一致;正确动作指令的比例却从 36% 升到 85%。补训改变的主要是夹爪该往哪里去、什么时候合拢。

上方是原始 Qwen,下方是经过动作训练的 ZAP。两者都选中了黄油盒,夹爪合拢的高度不同。图片来源:Luma AI 论文

仿真对照看的是动作指令给得准不准。换到真机上,Luma 比较的是整项操作能不能做成。研究人员把原始 Qwen、ZAP 和 Astra 接到同一台双臂机器人上,用同一套执行框架做 10 项任务,每项试三次。

原始 Qwen 成功 5 次,做过仿真动作补训的 ZAP 和接入时无需为这组操作再补训的 Astra,各成功 29 次。两者完成任务的用时也不同。ZAP 平均用时 146 秒,Astra 用时 397 秒。这是两款模型在各自推理配置下的用时。

在这套条件下,Astra 接进来就能做,不需要为这 10 项任务再补一轮训练。对原始 Qwen 来说,那轮训练却决定了很多动作能不能做成。两者的耗时也有差别,但模型和推理配置不同,不能把速度差全算在专项训练头上。

当通用模型开始决定动作

把通用模型用到具身研究里,本来就不新鲜。以往,研究者可以借用模型已有的视觉和语言能力,让它看懂画面和指令,再用动作数据训练策略,告诉机器该怎么动。

Astra 把这条分界往后推了一步:它能根据执行结果调整下一步,在部分操作里还可以直接给出动作目标。通用模型开始接手的,正是原先留给具身模型学习的那部分工作。

Luma 的真机对照让这个变化更清楚。已经训练好的 Astra 接入同一套系统,无需为这组操作再做一次专项训练。另一边,ZAP 经过仿真动作补训,也达到了同样的成功次数。两者的结果可以放在一起比,训练过程却不能由此倒推:Astra 的动作能力从哪里来、用过哪些数据,这组实验没有回答。

具身模型的研究者仍在寻找一种训练方法,让学到的动作经验不只用在练过的地方。Astra 让这个问题多了一层:在为机器人单独训练一种能力之前,先看看通用模型已经会了多少。OpenAI 把机器人研究并入主模型团队,是把这个判断落实到了研发上。

具身模型还在等自己的「ChatGPT 时刻」,OpenAI 已经迎来了能操控机器人的 Astra。

本文由人人都是产品经理作者【有新Newin】,微信公众号:【有新Newin】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载

题图来自Unsplash,基于 CC0 协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 目前还没评论,等你发挥!