OpenAI 的 Dactyl 机器人手用强化学习解开魔方，七年过去，五指灵巧手从实验室演示到大规模部署仍有距离。云松鼠创始人黄骏达把瓶颈归到操作模型和训练数据没跟上，并用五指末端的通用操作接口 UMI 让人直接完成真实交互、把过程转成训练数据。

2019 年，OpenAI 展示了一只能够解魔方的机器人手。七年过去，机器人已经能够完成越来越复杂的灵巧操作，但从实验室演示到真实场景中的大规模部署，五指灵巧手依然面临不小的距离。

2019 年，OpenAI 展示 Dactyl 机器人手通过强化学习，在真实环境中完成魔方求解。图源：OpenAI

问题出在哪里？在云松鼠创始人黄骏达看来，行业或许过于关注灵巧手硬件能力的不断提高，而能够充分发挥这些能力的操作模型和训练数据，却没有同步成熟。

此外，还有一个容易被忽略但更基础的瓶颈：即使机器人已经具备完成某些动作的能力，人类也未必能够高效、稳定地将这些动作示范给它。

黄骏达曾在香港中文大学从事灵巧操作研究，2025 年创办云松鼠，将五指 UMI（Universal Manipulation Interface，通用操作接口）作为核心技术方向。与依赖完整机器人本体的传统遥操作不同，这套方案试图让人直接利用机器人五指末端完成真实交互，再将操作过程转化为模型训练数据。

在他的设想中，五指 UMI 的价值不仅是降低采集成本，还可能从服务于具体任务的少量示范，逐步走向为基础模型预训练持续提供数据。

这一判断尚有不少问题需要验证。UMI 数据与真机数据之间的差异究竟有多大？更多数据能否带来更强的操作能力？一套数据采集方案，又如何发展成具有规模化商业价值的基础设施？在这次专访中，黄骏达详细谈到了云松鼠的技术和商业路线，以及他对五指灵巧手未来的判断。Enjoy～

01 从机器人博士到创业者

ZF：可以先介绍一下自己，以及你是怎么进入灵巧操作这个方向的？

Junda：我叫黄骏达，本科在中科大就读，学电子信息。大一的时候对机器人感兴趣，就开始打机器人比赛，大三的时候去 Georgia Tech 做研究，当时对腿足比较感兴趣。后来到了港中文读博，开始做灵巧操作和手相关的研究。2024 年开始尝试创业项目，2025 年正式毕业，同年也在 UC Berkeley 做访问学者，带团队做外骨骼、手和遥操作的研究，公司也是 2025 年创办的。

ZF：可以简单介绍一下目前云松鼠这个公司和主要的产品。

Junda：首先公司定位是做五指灵巧操作的基础设施，我们想解决五指灵巧手的数据和部署问题。核心做的事情就是造一个能够无本体采集五指灵巧手数据的硬件，也就是五指 UMI，并且能适配不同的五指灵巧手，包括 6 自由度五指灵巧手，以及舞肌、Sharpa 那一类高自由度的五指灵巧手。

ZF：你用什么标准判断五指 UMI值得做？有没有一个具体实验或客户反馈，让你决定投入？

Junda：主要是从技术的前沿与独创性、UMI 的长期价值、迭代的可能性、以及这个技术能否促进我们的其他产品规划。有学界的支持和使用反馈，并且我自己也算是这个产品的用户。

02 遥操作满足不了五指灵巧手的数采需求，真正的瓶颈是人机交互接口

ZF：你觉得具身智能行业今天最容易被高估的能力是什么，最容易被低估的瓶颈又是什么？

Junda：最容易被高估的是机器人硬件的可靠性，最容易被低估的是从 demo 到实际落地的难度。最近很火的 ICL（In-Context Learning，上下文学习），其实是十年前就有 demo 的话题。所以当前不少的机器人模型，在我看来仍缺乏比较清晰的能力边界和验证标准。我认为五指灵巧手的重要性依旧被低估了，未来一年内就会有五指灵巧手的基础模型出现。

ZF：自变量和乐聚为什么选择与你们合作？具体有哪些业务协同，目前推进到什么阶段了？

Junda：主要是双方在业务上的协同，以及对我们技术路线的认可。合作涉及数据供给、数据采集硬件、灵巧手和场景落地等方面，目前已经推进到合同阶段。

ZF：现在五指灵巧手很热，为什么你们仍然认为它的能力被低估？

Junda：五指手是否具备完成某个动作的能力，以及人能否稳定地示范出这种能力，是两个问题。只要选对数采设备，即使是低自由度五指手也能完成很多任务，所以人机交互的接口其实也限制了五指灵巧手的能力发挥。

ZF：能否举一个具体任务，比较夹爪、三指手和五指手的表现？五指带来的收益是什么，又增加了哪些成本和复杂度？

Junda：可以用喷壶举例。机器人使用喷壶时，需要稳定握持瓶身、保持喷嘴朝向，同时反复扣动扳机，也就是要同时完成握持和操作。现实中的许多工具本就是为人手设计的，因此五指灵巧手具有天然的形态优势，即使是低自由度的五指手，也相对容易完成这类任务。

但更多手指也意味着更复杂的机械结构和空间布局。如果再增加独立驱动，还会增加重量、功耗、传感、标定和维护负担，控制与训练也需要处理更多动作组合。是否值得采用五指手，最终仍然要看任务收益是否值得这些投入。

ZF：能解释一下灵巧手和灵巧操作的区别吗？

Junda：这里有几个相关概念：夹爪、灵巧手、五指灵巧手、灵巧操作以及手内灵巧操作。五指灵巧手通常指外形和结构接近人手的机器人末端，但灵巧手和灵巧操作不能画等号。即使不用灵巧手，通过双臂和夹爪协同，也可以完成一些灵巧操作，比如叠毛巾。但手内灵巧操作几乎只有灵巧手能做。

ZF：比如没有五指灵巧手，机器人有哪些场景是解决不了的？

Junda：没有五指灵巧手，并不意味着某个任务在物理上绝对无法被自动化。理论上，可以针对每个任务设计专用夹具、工装和自动化设备，高自由度三指灵巧手也能实现五指灵巧手的许多能力。

但是如果没有五指这样的通用末端，就很难解决数据采集与复用的问题，也难以形成一个能够跨物体、跨工具、跨场景复用的机器人操作平台。

ZF：2019年OpenAI用机械手转魔方很出圈，但7年过去了，为什么现在能做到手内操作的公司还是不多？

Junda：OpenAI 证明了机械手能完成复杂的手内操作，但能转魔方不代表能转水杯，更不代表能够低成本、可靠地完成跨任务部署，核心仍是泛化能力。今天的瓶颈更多在数据和模型，尤其是缺乏高质量、多样化的操作数据。

ZF：现在在行业里关于灵巧手，大家比较大的共识是什么？

Junda：宏观层面，大家普遍认为，机器人最终会采用五指灵巧手，特别是在生活环境和家庭环境中。

非共识在于到达终局之前的过渡态——到底是二指、三指还是五指？我的判断是，即使在过渡阶段，主流形态也会是五指灵巧手，只不过可能以低自由度的五指手为主。终局则是低自由度和高自由度五指手同时存在。

ZF：这次是公司的首次系统性访谈。为什么你不准备从灵巧手的硬件参数讲起？

Junda：因为我们认为，五指灵巧手现有的能力还没有被充分释放，主要受限于人机交互接口。我们希望通过五指 UMI，让人能够更直接地操控机器人末端，与真实物体交互，并将这一过程转化为训练数据。第一次介绍公司，我更想讲清楚这种方式为什么必要，以及它如何释放五指灵巧手已有的能力。

ZF：你们明确认为遥操作不适合作为五指灵巧手的数据采集方案。为什么夹爪可以，五指就不行？

Junda：夹爪遥操作的认知负担相对小，动作也比较简单。操作者主要控制末端的位置、姿态和开合，不需要持续协调多根手指之间的接触关系。虽然难以在真实现场做无本体采集，但在桌面数据采集等条件下，夹爪遥操作仍然能够兼顾效率和质量。

但根据我们的实践，不同类型的灵巧手在遥操作时，都会给操作者带来更重的认知负担。人需要同时关注手臂怎么走、手指怎么动、物体有没有抓稳，以及末端与环境接触后会发生什么。接触风险越高，操作者就越容易放慢动作、停顿或反复确认。

真正到了手内动作，问题还会进一步放大。物体虽然始终留在手中，但手指需要不断调整支撑点和接触关系。通过遥操作完成这些调整，很难保证动作质量，采集速度也提不上去。我们看到的效率，远低于夹爪遥操作。

ZF：所以五指 UMI其实比遥操作便宜、采得更快。那么在哪些任务上 UMI 的优势最明显，哪些现场条件下它仍然不好用？

Junda：除了便宜和快，还能进行 in-the-wild （真实场景）采集。五指 UMI 绝大多数任务都有显著优势，但是对于需要精细触觉反馈来动态控制手内动作的任务，失败率会比较高。

03 人能示范不等于机器人真正学会，五指 UMI 方案的三道门槛

ZF：让机器人五指末端直接参与真实交互，与戴手套采集人手数据，有什么本质区别？

Junda：戴数据手套采集的是人手操作数据，直接与物体接触的是人的手；五指 UMI 方案里，参与真实交互的是机器人五指末端。

ZF：这会不会只是证明“人通过 UMI 能完成”，并不能证明“机器人自己能完成”？

Junda：是的，这里有三个门槛：第一，让有价值的行为能够被人稳定示范；第二，让这些示范适合机器人学习；第三，让学到的策略能够在真机上可靠执行。我们观察到 UMI 下能做出更多行为，但这只跨过了第一道门槛，并不意味着机器人已经自主掌握了这些能力。

我们最近在做的一件事，就是摆脱对遥操作真机数据的依赖，完全使用 UMI 数据训练模型。另一方面，我们在用世界模型进一步减小 UMI 数据和真机数据之间的差距。两方面结合，都是为了跨过第二道门槛：如何让人类示范真正转化为机器人可学习的数据，而不只是让人能够完成操作。

ZF：可以再解释一下你们的 UMI 数据和五指灵巧手真机数据是什么关系。

Junda：先把“真机数据”这个说法讲清楚。在这次讨论里，它主要指完整机器人在执行任务时采集的数据，其中可以包括通过遥操作得到的示范；UMI 数据则是在没有完整本体参与采集的情况下，人通过机器人五指末端完成真实交互得到的数据。

UMI 不是没有机器人末端，也不是只记录虚拟动作。两类数据都可以来自末端与真实物体的接触，区别在于谁带动末端、怎样获得位姿与图像，以及是否包含整机执行过程。

我们的判断是，这两类数据与操作学习相关的 gap 可以非常小。这个判断既来自采集方案的设计，也越来越需要由训练和真机测试来验证。

ZF：那剩下的gap主要来自哪里？你们怎样处理？

Junda：主要是三个方面：手臂的动力学、手的位姿精度，以及图像。

这些问题，我们会在不同环节做优化，包括数采设计、精度算法，以及利用 AIGC 改善图像。而不是只依靠同一个末端，就假设其他差异自然消失。

但最终我们还是基于 replay（回放）、模型训练和真机测试的结果来判断。之前我们用真机数据训练，现在大胆尝试放弃这部分数据，完全使用 UMI 数据。在当前的训练测试中，依旧能够达到相同水平的成功率。这是我们继续推进这条路线的重要依据。

ZF：当前测试已经达到相同水平的成功率，为什么还需要继续验证？

Junda：因为在当前任务上能够做到，不等于已经证明 UMI 数据能够全面替代真机训练数据。现在的结果让我们有理由继续降低对真机训练数据的依赖，但仍需验证这一结论能否推广到更多任务、不同条件，以及更大规模的模型训练中。

接下来值得比较的，不只是 UMI 数据和真机数据的混合比例，也包括完全不使用真机训练数据的情况。在相近的模型和训练条件下，分别看真机数据训练、UMI 数据训练，以及不同处理方式后的 UMI 数据训练，最终通过真机测试评估效果。

还要区分单位数据的学习价值和整个方案的性价比。在相同数量的有效数据下，比较模型能够学到多少；在相同采集和处理成本下，则比较哪种方案能够产出更多有价值的训练数据。

04 替代真机数据，五指 UMI 数据的预训练方案

ZF：训练一只会干活的手和训练大语言模型，对数据的需求有什么本质不同？

Junda：我认为主要是闭环与否的区别，大语言模型主要学习“世界中已经存在的信息”，机器人则必须学习“自己的动作会如何改变世界”。

ZF：你觉得这是过渡方案还是终局方案？

Junda：这不是过渡方案。Georgia Tech 的 Danfei Xu 最近发表的一篇博客很好地解释了这个问题，他画了几个曲线。类似的曲线我们内部年初就已经画了，我们跟他的理解和预测一致。但这幅图未来还会有变化，包括umi和ego的上升位置、变化趋势。

Danfei Xu 对遥操作、UMI 类方案及第一人称人类数据三条技术路线的长期能力扩展预测。图源：Danfei Xu

ZF：你们认为 UMI 会不会只存在小批量的需求？

Junda：不会。如果把 UMI 理解成一个后训练工具，一个客户为了某个任务买几套设备，采少量示范，用完之后进入部署，那看起来确实像小批量需求。但这不是我们对它长期位置的判断。

我们看好五指 UMI 数据进入机器人基础模型或者多模态大模型的预训练。更进一步，基于最近的 AIGC 工作和训练测试，我们认为它很有可能在预训练阶段完全替代原本需要由真机采集的交互训练数据，而不只是占其中一个辅助比例。

如果这个方向得到完整验证，需求就不只是教会一个模型几个具体任务，而是持续生产覆盖不同操作、物体和环境的基础训练数据。UMI 的作用也不再是模型完成基础训练以后才加入的一小段采集流程。

ZF：灵巧手和夹爪的数据采集有什么区别？

Junda：夹爪数据的获取方式已经非常成熟，主要有两种方式：遥操作和 UMI。遥操作就是拿着遥控器遥控一对手臂、两只夹爪完成任务；UMI 就是直接拿着两个夹爪采数据。本质上都是真机数据，数据质量很高，获取过程也没什么大脑负担。

但灵巧手的数据获取还处在起步阶段。现在有两个方案：一是像夹爪一样的遥操作，戴手套遥控一对手臂和两只手完成任务；二是戴手套或头部相机直接采人手数据。

遥操作这条路径上，与灵巧手相比，夹爪遥操作的数据质量很高，采集速度相对较快。但真要发挥五指手作为五指手的功能，遥操作获取的数据质量很差，特别是运动质量非常差，速度也上不去，所以遥操作在灵巧手这里几乎被判了死刑。之前训练夹爪智能模型最重要的一类数据，在灵巧手这里行不通。

人手数据方面，研究还处在非常早期，训练出来的模型能做的事情非常少，完全停留在纯 demo 阶段。这类数据怎么处理、处理方式是不是终局形式、模型形式怎么学习，都还没有定论。使用人手数据的门槛目前还非常高。

总之对夹爪好用的真机数据，在五指灵巧手这块效果很差；同时理论上限很高的那类人手数据，现在还发展不起来。

ZF：但已经有人用遥操作采到了有效的灵巧手数据。这个事实是否反驳了你们？

Junda：它说明遥操作能够完成一些任务、产生有效数据，但不能直接说明它适合作为五指数据的规模化主要生产方式。能不能做出来，与能不能高效、稳定、持续地生产，是两个问题。

我们比较的是操作者需要训练多久、每条有效示范花多少时间、长时间使用的负担有多大，以及复杂接触和手内动作会不会因为太难采而被排除。这些问题不能只用一个成功的演示来回答。

还有一个关键限制：遥操作无法做到我们这里所说的 in-the-wild 采集。我们说的是人能够直接进入真实产线、工作台或日常操作场景，在不先部署完整机器人本体的情况下采集。遥操作需要机器人在现场执行，你不能把本体留在实验室，却遥操它与另一个现场的物体交互。

ZF：给遥操作补上更好的力反馈、动作映射和共享控制，不也能解决这些问题吗？

Junda：能解决一部分。比如操作者不敢与环境接触、运动不够稳定，更好的反馈和辅助控制确实有机会改善。但这些问题缓解以后，数据采集的效率、速度和性价比，也未必能同步得到改善。人仍然需要通过整套系统完成示范，机器人仍然要在现场，复杂五指行为仍然需要协调。

反过来，如果这些能力成熟，我会更看好遥操作在人工介入场景中的应用，而不是将其用于日常灵巧手数采。机器人在执行任务，遇到一个自己处理不了的情况时，由人接管、纠正、帮助它恢复。

ZF：相比只采更多抓取动作，五指 UMI 最值得为预训练补充什么？

Junda：我认为是与机器人真机相同的接触过程。

ZF：从“UMI 可以进入预训练”，到“可能完全替代真机数据”，最大的变化是什么？

Junda：最大的变化，是不再预设真机数据一定是基础，UMI 只能在它上面补充。如果一直保留这个前提，我们研究的就只是怎样增加一种辅助数据，而不是重新比较两条数据生产路线能否承担相同的训练工作。

五指 UMI 有真实的末端交互，也有不依赖整机部署的采集方式。如果经过采集设计、精度算法和生成式方法处理以后，剩余差异不再影响相应的学习效果，那么预训练为什么一定要保留原来那种更重的采集流程？这就是我们想认真验证的问题。

这里的重点仍然是五指。夹爪上相对简单的动作经验，不能自动替我们回答多指协调、手内动作和复杂接触能否被同样有效地学习这些问题。必须把这些五指操作经验采出来，再看模型是否真的能够使用。

ZF：如果数据扩大到十万小时，是否就会出现明显的能力跃迁？

Junda：我看好规模化，但不会把某个小时数当成保证能力涌现的门槛。它取决于采了什么、怎么训练、如何评估，也取决于系统本身能表达和执行什么。

同样一千小时，可以是在同一个环境里重复同一类动作，也可以覆盖不同物体、场景和接触变化。它们对一个具体模型的价值，不能简单地等同起来。甚至采样频率和任务切分方式不同，数据条数也很难直接比较。

ZF：如果 UMI 能在预训练阶段完全替代真机数据，真机数据还有什么价值？

Junda：需要分阶段看。五指 UMI 数据很有可能完全替代预训练中的真机交互数据；但真机数据很有可能在错误恢复阶段仍然有帮助。

ZF：你们用遥操、动捕或者仿真合成吗？

Junda：遥操作不会有。动捕采集的不是手的数据，是身体的数据，与我们是互补的——今年下半年我们会跟 Berkeley 合作，用我们的数据采集设备配合一套动捕，让机器人既能动又能做手部操作。仿真合成暂时不会有，但我们在做探索，主要尝试场景泛化。

ZF：如果合成数据或视频学习两年后跑通了，真机数据还值钱吗？

Junda：值钱，但角色会发生变化。今天真机数据既承担基础学习，也承担适配、验证和纠错功能。如果两年后视频学习和合成数据取得重大突破，真机数据可能不再是所有能力的主要来源。合成数据有 sim-to-real gap，跟实际部署是两条不同的赛道，所以更像是互补关系——用合成数据增强某个 policy 的泛化性。而且合成数据依然要基于真机数据，例如通过替换真实图像的背景来生成新数据。

ZF：世界模型和 AIGC在这里解决什么问题？会不会只是让图像看起来更像？

Junda：我们的出发点不是把图像做得漂亮，而是让 UMI 数据更适合机器人学习。现在我们在利用世界模型减小 UMI 与真机数据之间的 gap，也在通过 AIGC 优化图像。我们会在几个月后发布详细的报告来量化解释这套方法的效果。

ZF：如果世界模型、AIGC 和视频学习继续进步，反而会削弱五指 UMI 的价值吗？

Junda：从我们最近的工作看，AIGC 可能增强五指 UMI 数据的价值，而不只是成为它的替代品。

ZF：如果明天有人开源 100 万条遥操作轨迹，你们的数据资产会贬值吗？

Junda：部分会贬值，而且我们应该正视这一点。不过贬值的前提是这些数据满足这些条件：数据质量高；时间同步准确；覆盖丰富的物体和任务；包含触觉、力和完整的动作结果；许可允许商业训练。如果我们的壁垒只是“我们手里有很多轨迹”，那这个壁垒本来就不够坚固。

05 五指操作数据的生产、质检与成本账

ZF：你觉得灵巧手会先用在什么场景？

Junda：所有的机器人，包括工业环境。我们会先从工业、物流这些半结构化环境开始。半结构化环境有一定的规则，但物体摆放和位置仍存在不确定性。家用环境是完全无序的非结构化环境，难度更高，会晚一些。

ZF：众包、数据工厂和真实现场，你们准备怎样组织采集？

Junda：我们会考虑分布式采集。五指 UMI 对真实现场的意义，是人可以带着采集设备进入现场，而不需要为了获取第一批示范，先把完整机器人部署过去。这就是我们所说的 in-the-wild。

但无本体采集不等于没有采集要求。设备配置、任务说明、目标机器人的动作范围、数据质量和现场授权，仍然要管理。

众包和数据工厂两种模式我们都有。第一种分布式众包由合作方组织采集人员，或者利用自有工厂开展采集。我们把设备提供给他们，明确数据需求，他们采数据给我们。第二种是把设备卖给数采工厂。数据工厂既是甲方也是乙方——他们买我们的设备，同时我们也从他们那里买数据。

ZF：任务库你们怎么设计？

Junda：任务库基本上是两个方向：我们需要什么样的数据、做什么样的任务，就让数据工厂去采；另一类是由客户提出需求，再交给众包团队采集。

现在需求比较高的是具体任务的数据，比如在实际的产线上采集，我们叫“野外采集”。

ZF：实际产线是什么意思？

Junda：就是真实产线，而不是为采集专门搭建的产线，设备可以直接上产线完成任务。比如这里有个产线，不需要布置很多东西，我们的设备是人直接穿着上岗，正常完成任务。

ZF：可以举例解释一条五指 UMI 数据怎样产生、又怎样用于训练？

Junda：以叠衣服为例。先明确希望机器人的行为轨迹：怎样拿起衣服、展开、折叠、放好，以及目标机器人能够操作的空间和使用的末端。

采集时，操作者穿戴设备，通过五指 UMI 操控机器人末端去抓取衣服、调整位置、完成折叠。相机记录衣服的形态和操作场景，系统同步记录相应的末端运动数据，以及相关传感器采集的信息。

这时，人不是只表演一个“叠衣服的手势”。衣服有没有被这个末端抓住，调整时有没有滑动，折过去以后落在哪里，都是实际交互的结果。所以采集到的示范中已经包含机器人末端与布料的关系。

之后还要检查时间同步、掉帧和异常记录，整理任务片段、动作和观测数据，并处理采集端与部署端的差异。数据进入模型训练以后，再让机器人自主执行叠衣服任务。人能够完成示范，并不意味着机器人就一定能够学会。

ZF：在相同灵巧手、任务和操作者条件下，遥操作与 UMI 的培训时间、采集速度和有效示范比例分别是多少？有没有可公开的对比结果？

Junda：我们正在整理内部验证结果，并计划未来公布。但从数据采集的实感上来看，UMI 能够达到与人手接近的采集效率，灵巧手的遥操作则在达到一定的速度天花板后就无法提升了。

ZF：现在一天能产生多少条有效数据？

Junda：还在测，但效率非常高，可以参考夹爪 UMI 的效率。

ZF：你们怎么解决数据质量问题？

Junda：肯定需要培训。另一方面我们在下放给工人采集时，也会简化流程，半个小时就能熟练操作

ZF：UMI 能做出更丰富的动作，但又要与机器人执行接近，这两件事会不会矛盾？

Junda：不一定矛盾，但要分清楚，丰富来自哪里。如果来自更直接的反馈和更自然的接口，让人更容易发挥机器人末端已有的能力，这就正是我们想要的效果——更多行为能够进入数据，而不是因为遥操作太难示范，就一直缺席。

但如果某个动作依赖人额外施加的力量、支撑，或者机械臂做不到的运动，就不能因为它在 UMI 下成功了，就直接认定机器人也能学会。这类差异不能被一句“同一个末端”掩盖，也不能只靠图像处理绕过去。

所以，我们需要把人示范时的位姿与运动，和机器人真正的执行能力联系起来。比如记录的动作对应部署端的什么指令，目标系统能否在相应接触下执行，都需要在采集设计、数据处理和真机测试之间做好衔接。

ZF：怎么定义一条数据的好坏？废片率多少？

Junda：废片在 30% 以内，原因是有时候采集动作会超出机器人行动范围。我们预计之后能持续降低，可以把管线做到几乎采完之后不会因为到达边界而带来失误。

所谓到达边界，是指实际部署时，灵巧手需要安装在机械臂上，人手能够完成的某些姿态或动作，机械臂不一定能够实现。

判定方法有三种：算法判定、直接可视化、设计操作空间给采集工人明确可行范围。最后预计能控制在 20% 以内。

如何定义好数据，首先看基底——时间是否对齐、有没有掉帧、频率是否稳定、噪声是否偏大，能不能通过滤波消除。基底滤完之后能 replay，这条数据大概率没问题。最后验证方案是训练一个模型看 loss 能不能降下来，小数据集、小模型也可以用来验证数据。

ZF：力反馈和触觉数据，在你们的方案里分别解决什么问题？

Junda：力反馈主要帮助人完成示范，触觉数据主要帮助系统记录和学习交互。两者有关联，但不等同。

我们关注力反馈，是因为操作者如何感知接触，会影响示范本身。物体滑动、约束过紧或接触没有建立时，人需要及时调整。

ZF：有触觉的数据吗？通常怎么采集？

Junda：有。灵巧手上本身就带有触觉传感器，我们可以采集相应传感器输出的数据，具体取决于灵巧手的传感器配置。

采集的数据包括记录灵巧手动作的视频、触觉传感器提供的接触信息，以及手部、手腕的图像，并通过时间戳进行同步对齐。

ZF：触觉数据怎么做质检？

Junda：大概分成几个部分：初始漂移或噪声、过程噪声、时间对齐和任务级检测。

ZF：未来数据成本有降价空间吗？

Junda：降价空间不一定会很大。设备成本平摊到很多小时之后价格已经很低，核心还是人力成本。人力成本可以在劳动力成本较低的地区组织采集，设备成本通过量产。但我觉得降价空间不会超过一半。

ZF：你们说可以适配不同五指手，是否意味着 A 手的数据可以直接给 B 手使用？

Junda：这是两个层次。接口能够适配不同五指手，意味着我们可以为不同末端提供相应的采集能力；不意味着它们的原始动作数据可以不经处理地互换。

不同手的关节结构、驱动方式、活动范围和传感配置可能不同。把 A 手的一组关节角度直接发送给 B 手没有意义，甚至接口都不一样。所以短期内，最直接的价值仍然是为目标末端采集更合适的示范，并在相应部署配置上验证。

长期来看，不同硬件之间可能共享任务理解、物体信息和部分操作表示，但共享到什么程度，需要模型、表示方式和实验结果来回答。我们不希望把一个值得研究的方向提前说成已经完成的能力。

ZF：那现在适配一款新的灵巧手通常需要多久，具体要做什么调整？目前你们已经验证了哪些灵巧手？

Junda：硬件通常不需要修改，只需要对算法进行微调，因此适配一支新的灵巧手时间不超过两天。目前因时、强脑、灵心巧手、舞肌都已验证。不过跨手的数据是不可共享的。

ZF：目前商业化已经有付费客户了吗？

Junda：我们目前有意向客户，都在内部测试阶段

ZF：你们既服务模型公司，也服务机器人公司，怎么让大家放心把数据交给你们？

Junda：我们专注在五指灵巧手这个领域，为客户解决五指灵巧手可能遇到的问题。这个方向以外的内容，包括模型、部署相关的问题，并不是我们的重点。对于不同客户的数据，我们会做隔离，未经授权不会用于其他客户或者自有模型训练。

ZF：目前你们团队多少人？怎么分工？

Junda：35 个人。差不多 8 个人的算法团队，其他的人偏从机械研发到机器人系统研发的全栈研发人员。简单说就是能够把一个机器人系统从机械到软件部分，再到量产跑通。

ZF：如果一家灵巧手公司或模型公司自行开发类似采集方案，最难复制你们的哪一个环节？

Junda：数据采集方案本身是一项系统工程，也考验团队对实际需求的理解。一套系统里会有非常多的细节，需要把这些细节都打磨好，才能实现理想的采集效果。我们的优势是能基于客户和内部大量模型训练验证，形成对数据采集方案的系统性理解。

ZF：几位创始人是怎么决定一起创业的？

Junda：是我发起的。大家大多有 UC Berkeley 背景，也是师兄弟。核心成员里有一个是我本科室友。我记得本科的时候就感觉，如果有一天创业，他会跟我一起。一方面是因为彼此熟悉，我过去也取得过一些被验证过的成绩；另一方面，他自己也有创业的意愿。

ZF：三年以后，你希望行业怎样评价云松鼠？

Junda：我希望大家记住的不只是我们首创了五指灵巧手 UMI，而是这套方案改变了五指操作经验的获取方式，以及这些经验进入模型的路径。希望大家提到五指灵巧手时就能想到我们。