Jason Ma 谈 Dyna-2 的小时级通用物理智能体

一起观看 AIE NYC，并下个月在旧金山加入我们的 AIE CODE ！

本期节目包含 Taku 机器人的现场演示，在 YouTube 上观看效果最佳。

上个月，Dyna 宣布推出 Dyna-2 而引发热议。这是一款在一百万小时人类视频上预训练的 world-action 模型，并宣称在人类数据上、跨越四个数量级发现了若干新的缩放定律。他们现已跟进推出实体机器人智能体 Dyna-2.1，其表现必须亲眼见到才会相信：

在今年 AIE 的演讲中，Jason 谈到机器人在现实世界中的真正挑战是可靠的长时程自主，以及 Dyna 如何使其模型连续 24 小时折叠餐厅餐巾、成功率达到 99.4%，包括在把整叠餐巾拉翻后自行恢复。

从在超过一百万小时的人类视频上训练 world-action 模型，到在鼎泰丰部署每天折叠数千张餐巾的机器人，Dyna Robotics正推动物理 AI 超越精彩演示、进入真实世界的生产。本期中，Dyna Robotics 联合创始人兼首席科学家 Jason Ma 到现场与 swyx 对谈，拆解机器人如何仅凭少至 45 分钟的演示学习新任务、为何预测物理世界的未来可能是通用机器人的关键，以及打造能为真实客户可靠工作的机器人究竟需要什么。

我们深入探讨 Dyna-2，即 Dyna 将未来视频预测与机器人动作相结合的百万小时 world-action 模型、人类到机器人迁移背后的缩放定律、diffusion transformers 与 flow matching，以及合成环境和自生成训练数据为何可能开启下一波机器人进展。Jason 还解释了 Dyna 为何自建硬件而非依赖现成的人形机器人、agentic harnesses 如何使机器人执行长达一小时的工作流、为何灵巧手和缺失的感官数据仍是主要瓶颈，以及真正的商业部署与机器人初创公司的坟场有何不同。我们还会涵盖 world-action 模型与 vision-language-action 模型的对比、机器人领域的 GPT-6 与编程智能体，以及 Jason 从 AlphaGo 和 Penn 到 NVIDIA、Google DeepMind 并创立 Dyna 的历程。

我们讨论：

为何 Dyna-2 在超过 一百万小时 的人类视频上进行训练
World-action 模型：预测未来视频以指导实体机器人的动作
Diffusion transformers、flow matching 与实时机器人控制
机器人如何仅用少至 45 分钟的演示 学习新任务
为何机器人领域 没有相当于互联网的东西，而数据仍是其最大的规模化挑战
人类第一人称视频、机器人演示与跨具身迁移
合成环境、仿真，以及自行生成训练数据的模型
为何机器人需要 端侧推理、模型蒸馏和定制硬件
为何 Dyna 选择 轮式半人形机器人 而非传统双足机器人
硬件瓶颈：为何 灵巧机器人手 仍会过热
Best Western、鼎泰丰，以及机器人试点与规模化部署之间的差异
机器人学的苦涩教训：扩展数据，而非设计专门化解决方案
智能体驾驭系统，以及执行多步骤、长达一小时物理工作流的机器人
GPT-6、编程智能体，以及用于机器人研究的 AI 生成仿真环境
世界动作模型与 VLA，以及为何仅靠视觉可能不够
Jason 历经 AlphaGo、宾夕法尼亚大学、NVIDIA、Google DeepMind 与 Eureka 项目的历程
Dyna 的研究文化、部署优先理念，以及对数百万台机器人的愿景

Jason Ma

LinkedIn： https://www.linkedin.com/in/jason-ma-742224a2/
X： https://x.com/JasonMa2020

Dyna Robotics

网站： https://www.dyna.co/
X： https://x.com/DynaRobotics

时间戳

00:00:00 介绍与 Dyna-2 的世界动作模型

00:03:08 扩散 Transformer、流匹配与通用机器人

00:08:19 机器人数据瓶颈

00:13:50 合成数据与自我改进的世界模型

00:16:51 实时推理与模型蒸馏

00:19:45 全栈机器人：硬件与供应链

00:25:02 Dyna 为何打造轮式半人形机器人

00:29:35 教机器人新任务并评估表现

00:31:59 自主工作流与硬件局限

00:36:06 在 Best Western 与鼎泰丰的真实世界部署

00:41:07 机器人学的苦涩教训

00:46:13 面向物理 AI 的智能体驾驭系统

00:49:07 GPT-6、编程智能体与 AI 原生机器人

00:52:02 世界动作模型与 VLA

00:59:17 从 AlphaGo 到创立 Dyna Robotics

01:04:20 Dyna 的研究文化与机器人的未来

文字稿

介绍：Jason Ma 与 Dyna Robotics

Swyx [00:00:00]： 好，我们现在就在现场，与 Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在一起。感谢邀请我们来到你的办公室。

Jason Ma [00:00:06]： 当然。感谢你们前来。

Vibhu [00:00:07]： 太精彩了。我们看到了——你们会看到大量 B-roll——饮品被取出、大量评测，以及机器人第一次拿刀。那么这一切的底层是一个世界动作模型。它是什么？

Dyna-2：一个预测未来的世界动作模型

Jason Ma [00:00:22]: 所以上个月，我们发布了名为 Dyna-2 的世界动作模型。它是首个在超过一百万小时数据上训练的世界动作模型。先回到你的问题，世界动作模型是一种能够预测未来视频、也就是世界未来状态的模型，因此得名世界模型。但除此之外，你还可以利用这种未来生成来产生机器人能够在物理世界中执行的动作，从而控制机器人。那我们为什么要这样做？这是一种非常强大的架构，因为如果你想想人类如何在物理世界中行动，在我们的大脑中，我们会隐式地思考世界将如何根据我们的行动而演变。所以现在我们有了一种能够做到这一点、从而引导机器人动作的模型架构。我们发现，通过这样做，模型会更加灵巧、更加稳健，也更有能力泛化到它从未见过的环境和场景。

世界动作模型：输入、输出与视觉推理

Vibhu [00:01:17]: 我想稍微引出这个问题。我觉得很多人一听到世界模型，就以为你输出的是视频、世界或 3D 状态。你同时还在做动作。我认为大多数人不了解机器人学底层用的是什么模型。那么输入和输出是什么？训练数据是什么？架构是什么？请把所有细节都告诉我们。

Jason Ma [00:01:39]: 那么，就输入而言，最重要的输入是视频，对吧？你可以想想机器人用摄像头捕捉到的视频，对吧？所以过去许多秒的视频或图像，就是输入。但对机器人来说，真正有趣的是，机器人自身还有大量执行器和关节编码器。所以机器人也知道自己各个关节的角度。这些也可以作为这个世界模型的输入。这与只看视频的纯视频模型非常不同，对吧？所以这就是输入。此外，对于机器人，你希望能够与它对话，指示它完成不同的任务，对吧？所以你也可以给它输入语言指令。这些就是我认为进入任何机器人模型、包括世界动作模型的基本输入集合。一旦有了这些，在输出方面，基本层面上，它需要输出机器人能够在硬件上执行的动作。但就世界动作模型而言，真正有趣的是，除了动作之外，它还可以输出未来视频，对吧？所以基本上，你可以几乎先输出未来视频或其某种表示，然后用它来引导机器人动作。我的理解是，这有点类似于 chain of thought。基本上，模型是在视觉空间、物理空间中进行推理，然后再输出动作。这就是世界动作模型的输出与其他类型模型、机器人模型输出之间的关键区别。

扩散 Transformer、流匹配与平滑动作

Vibhu [00:03:08]: 你围绕自己的模型发了一篇很好的博客文章。我觉得很多人都理解语言模型或 transformer、下一 token 预测器。这次你分享了不少内容。有 diffusion、flow matching，你在预测下一个世界状态加上动作。你提到的一点是一百万小时。你如何确定架构？比如，那里有哪些选择？架构是什么？我觉得在语言模型里，很多做法是拿现成的东西——拿数万亿个 token，做预测、SFT、RL，然后你就有了一个模型。那这个呢？你如何从零走到你的模型？有没有现成的 vanilla 架构？这些都是你来决定的吗，以及，当前状态是什么？

Jason Ma [00:03:49]: 是的，我觉得，是的。所以，思考我们如何为机器人构建模型的心智框架是，本质上有几件事要看。一是数据，二是我们如何让模型尽可能多地从这些数据中学习？所以我们其实先来谈谈模型，对吧？我们发布的那篇博客讲的是我们的 Dyna-2 world action model。底层是一个 diffusion transformer。该模型使用仅编码器的 transformer 架构。

Vibhu [00:04:20]: 对，是的。

Jason Ma [00:04:20]: 但真正有趣的是，在视觉领域，对吧，如果你想想生成图像、生成视频，以及在这个例子里，机器人看着图像来生成动作，人们发现 diffusion 这类架构效果非常好。那么什么是 diffusion 模型？diffusion 模型是这样一种模型：它接收一些随机噪声，并通过迭代计算，从噪声走向某种真正高维、高度明确且具有非常细粒度特征的东西。如果你想想生成图像，对吧，你想要锐利的边缘、锐利的转角、色彩对比。而对机器人来说，即便你不是在生成图像，你生成的动作也需要非常精确、非常平滑，对吧？所以它和生成图像有着差不多同类的考量与诉求。因此从第一性原理出发，整个领域，不只是我们，一直在用这种 diffusion transformer 架构来训练机器人基础模型。你需要 transformer 这一面，因为 transformer 就是那种能够吞下最多数据、能够学习的东西。然后 diffusion 帮你细化结果，从而得到你实际需要在机器人上执行的平滑、精确、细粒度的运动。所以这就是我们近期许多突破背后的架构。

Swyx [00:05:37]: 而且我们之前在播客里介绍过 flow matching。它主要是一种效率上的加速。比如，假设你通常会用 40 到 100 个 diffusion 步骤。你可以把它减少到 4 步。

Jason Ma [00:05:48]: 是的，没错。对于扩散模型，实践中非常困难的一点是你需要调节调度器，比如你把初始噪声输入调节或转换成最终输出的幅度有多大。所以流匹配有点像扩散的一种特例，它让这种变换简单得多。实践中你不必调节那么多，效果也同样好。这就是为什么我认为大约两到三年前，大多数图像和视频的生成建模已经从扩散模型转向了流匹配模型。但概念是一样的，流匹配只是扩散的一种特殊的、更容易调节的变体。是的。

Swyx [00:06:26]: 这其实让我想到了这一点。所以流匹配在质量上显然存在取舍。但实际上，它非常适合动作扩散和机器人，因为你可以实时重新评估。而在图像中，你是——基本上是一次性完成的。

Jason Ma [00:06:40]: 没错。

预训练通用机器人并适配新任务

Vibhu [00:06:41]: 这挺有意思的。我们去摆弄了那个叠衣服机器人……扔进去一条随机的毛巾。模型会适应，对吧？我觉得你们模型的一个关键点是它们被——它们被做成通才，所以是一个基础模型，然后你们对它们做大量适配。这是怎么运作的？基本上，用45分钟的映射数据，你们就能泛化到。我们看到了一个从冰箱里拿出饮料的例子。一个通用模型的思路到底是什么，然后你们如何适配不同的任务？

Jason Ma [00:07:14]: 所以我们的看法是，对于机器人领域，我们需要构建一个非常通用、强大的基础模型，对吧？然后——因为如果你想想人类如何在物理世界中互动和行动，对吧，我们拥有非常扎实的基础知识。我们可以轻松完成很多任务。但如果你想在任何一项特定任务上成为专家，就需要进行一定量的训练。我认为，要训练像我们在这里打造的这种通用机器人，同样的原则也必须适用。所以我们的方法是先训练一个通用模型，用我们能找到的尽可能多的数据来训练它。这就是为什么在我们的Dyna-2报告中，我们的模型以超过一百万小时的人类数据作为起点进行训练。然后有了这个坚实基础，我们发现可以用极少量的微调，快速让机器人或模型完成许多不同任务，只需告诉模型：“这就是我希望它做的任务，这里有非常少量的演示”，模型就能轻松完成你们在办公室里看到的那一堆任务。是的。

一百万小时的数据：自我中心视频与机器人演示

Swyx [00:08:19]: 我们实际上有不少从事数据交易、出售数据的人。什么是好数据？什么是坏数据？你想买什么？我认为这些都是开放性问题。比如，显然，我认为最重要的是人类执行任务的自我中心数据。对于这个基本说法，你还会做哪些修改？

Jason Ma [00:08:42]: 所以我认为，数据是当今机器人领域最重要的东西，因为与语言模型不同，这里没有互联网，对吧？因此，每一家正在构建模型、构建硬件的公司都必须考虑数据。所以这里大致有几种不同的运作方式。一种是你可以自己收集大量数据，这也是我们正在做的。

Swyx [00:09:02]: 你们这里有员工在做这件事。

Jason Ma [00:09:04]: 办公室里到处都是机器人，对吧？但如果你想想机器人基础模型需要多少数据，我认为任何一家公司独自能收集到的数据量都远远不够，对吧？这有点像，你试图只靠 Reddit 或者只靠 Facebook 来构建一个互联网。它们是很棒的网站，用户很多，但这还不够，对吧？所以当我们考虑数据时，必须有某种数据获取在发生，对吧？你购买数据，你去看已经存在于外面的数据。然后还有许多不同的层级，对吧？你提到了数据质量。我认为机器人领域的数据质量是一个非平稳问题，也就是说，对你的模型而言什么是高质量数据会随时间变化。比如，当你的模型什么都不知道、当它为零的时候，任何数据都有用，对吧？你可以使用大量视频数据。就自我中心数据而言，我认为它实际上是预训练机器人的一种非常好的方式，因为人类数据是如此多样。比如，它涵盖了你所能想象的每一种身体活动。而这给机器人、给模型提供了如此强的先验，关于事物如何、世界如何围绕一个具身行动者——人类——演化。但人类数据的问题在于，在你的机器人看起来和人类一模一样之前，人类动作和机器人动作之间总会有一些差距，对吧？所以仅仅依靠在人类数据上训练，在今天，你不太可能直接执行机器人动作。所以你仍然需要使用机器人自身的数据进行一定量的适配，对吧？但在机器人上收集的机器人自身数据会昂贵得多，也难收集得多。所以我们正在考虑的那种配方是，我们如何利用我们今天拥有的最大数据来源，比如自我中心数据，给模型一个关于物理操作所能覆盖的一切的强先验，然后再结合少量机器人数据，让机器人掌握我们感兴趣的任何任务。所以机器人领域的数据质量以及获取数据，真的，我认为这是一个迷人的、多方面的问题。但现实是，并不存在单一的制胜策略，比如，“哦，这里有一种数据。我只打算收集那种，”

Jason Ma [00:11:25]: 而这会给你一个强大的基础模型。你真的需要去想，“这些人类数据覆盖了我所需要的这部分机器人认知。机器人数据覆盖了机器人同样需要的低层反射灵巧性，”并把它们放进一个模型里。我认为这才是最终给出一个真正可适应、真正强大的模型的东西。是的。

数据合作与专门训练示例

Swyx [00:11:44]: 我来提示你，就再来一次，为了那些正在收听、想和你合作的人。什么，d——你想要什么样的数据供应商。这是你征集数据的号召。什么-

Jason Ma [00:11:55]: 是的，不，这是个很好的问题。是的，所以在我们的 Dyna-2 博客末尾，我们实际上有一个邮箱地址，叫做 datapartnerships@dyna.co。所以如果你是数据供应商，拥有大量高质量数据，无论是第一人称数据、机器人数据、视频数据，还是任何你认为能帮助机器人的数据，都发到那个邮箱。我们的团队会查看，然后回复你。

Swyx [00:12:16]: 但以你们现在的阶段，你们是不是。你们大概不会再购买更多现成的第一人称数据了吧？你们大概更想说，“这是我需要的。你们去——”

Vibhu [00:12:26]: 有没有某个缺失的细分领域？

Swyx [00:12:28]: 你们需要一个 Scale AI，需要一个 Mercor 来做这件事。我明白了。定制数据——

Vibhu [00:12:32]: 不从事机器人领域的人可能会想，“好吧，某个细分工厂。”比如……你展示了把管子插进去。关于这件事你能找到的数据就那么多，但大量那样的数据会对你有帮助吗？

Jason Ma [00:12:43]: 是的，不。如果你真的想把一项任务做到位，拥有来自该任务的数据肯定会帮你很多，对吧？所以对我们来说，我们仍然认为，仅仅一百万小时的数据是不够的。这只是开始。比如，我们展示了第一个百万小时规模的模型，但我们需要的不止这些，对吧？所以我们仍在寻找大量我们能获取的原始、多样化数据。但我们也在思考，如何获得更多定制数据，无论是内部采集，还是由我们的合作伙伴为真正特定的细分任务采集？因为我认为你仍然需要这些，才能达到任何模型在物理世界中真正有用所需的卓越水平，对吧？这有点像人类，你知道。如果 Sean 或我明天去 Rosewood Hotel 工作，我们没法按他们想要的方式铺床，对吧？我们需要大量训练。所以那种数据，比如特殊数据，有点像 Mercor 今天为语言模型所做的，我认为对机器人领域也会非常有价值。

Vibhu [00:13:42]: 所以酒店，把 GoPro 绑在你们员工的头上，然后。

Jason Ma [00:13:48]: 然后大概还有更多类似的。

Vibhu [00:13:49]: 还有

合成数据、仿真与 Eureka 项目

Swyx [00:13:50]: 把自己挡在他们的路上。是的。所以我们讨论过的一件事是结束这次访谈，而非常有趣的是，现在你基本上可以即时构建环境。你用前沿模型试过吗？你的体验如何？它们够好吗？

Vibhu [00:14:06]: 你们在用任何世界模型机器人方面的。比如，世界模型公司来生成这些并在其上训练吗？

Jason Ma [00:14:13]: 所以，我认为为机器人生成合成环境、合成数据、仿真数据，将会成为下一个前沿方向之一，对吧？因为今天人们已经关注了第一人称数据和机器人数据。这些都在扩展，但我认为合成数据将是一个新的扩展维度。所以回到你的问题，是的，我们一直在探索使用前沿模型，基于我们关心的数据、我们关心的环境，为我们生成合成环境。而且令人惊讶的是，我认为现在已经到了这项技术确实非常值得深入钻研的阶段。说一些背景，在我读博期间，我主要专注于基于仿真的机器人训练。当时仿真还没准备好，但我们有一篇名为 Eureka 的论文，这是第一篇采用大语言模型的论文。当时是 GPT-4，内容是如何自我生成环境、生成奖励函数或强化学习，并在仿真中做事。最后，我想，我们有一个非常棒的机器人转铅笔演示，对吧？那在当时真的很酷。但那种事情在当时仍然非常有限，因为当时模型并没有很好的视觉能力，也没有内在的 3D 理解能力，对吧？所以它基本上只是在生成代码，并利用来自文本的非常有限的反馈，试图想出新的仿真环境。但今天这些前沿模型的视觉能力简直惊人。它们可以做 real-to-sim、做 CAD，还有 3D 重建等等。所以我认为现在正处于一个临界点，

Jason Ma [00:15:52]: 这项技术真的可以加速机器人领域。而对我们来说，对吧，我们把它看作加速我们内部进展的一种方式，对吧？因为我们在构建模型，我们在构建硬件。所以如果一个前沿模型能以那种方式给我们更多数据，比如为我们自己生成真正定制的数据，那对我们极其有用。我们还在思考的另一件事是，除了用这些模型来生成 3D 环境，我们也使用了我们自己的世界模型，对吧，就是我跟你提到的世界动作模型，因为这个模型不仅生成动作，还能生成视频。我们——这个模型也能生成它自己的训练数据。于是这就变成了一个自我实现的飞轮，我认为它也会很强大。所以总体来说，我对这个方向真的非常兴奋，因为我认为尽管我们已经扩展到了一百万小时的数据，我们正在部署一批机器人。这些机器人已经开始做一些非常酷的事情。我们才刚刚开始，对于即将到来的一切，这只是冰山一角。是的。

端侧推理、延迟与模型蒸馏

Vibhu [00:16:51]: 对于做研究的人来说，我们最近邀请了 Runway 来播客。他们做的事情之一是机器人世界模型。他们正在稍微往那个方向转，所以……推动大家去看看。关于你们自己做模型，我有一个问题是：你们在什么约束条件下运作？所以如果你类比语言模型，你会看到 GPT-OSS 20B 非常适合普通的 MacBook。然后还有一个更大的，适合单块 GPU。你们是在机器人的约束下工作吗，模型是在端侧、在云端，还是混合？然后这如何影响你们的数据缩放定律？一百万小时很棒，但我们是不是只要扩大参数、数据就行？

Jason Ma [00:17:38]: 不，这是个很好的问题。所以我认为，机器人与语言模型及其他应用真正不同的地方在于，对于编程智能体、语言模型来说，有延迟是可以接受的，对吧？如今每当我问 ChatGPT，它都要花几秒钟才会吐出内容。但对机器人来说，推理延迟必须非常短，对吧？机器人需要行动。比如，它不能拿着一把刀三秒钟什么都不做。那会把人吓到的，对吧？

Vibhu [00:18:07]: 是啊，我们看到有人把真手放在刀下面。

Jason Ma [00:18:10]: 我们的模型相当聪明，所以没问题。但一般来说，如果你想到非常动态的任务，比如你想让机器人拿着——我也不知道——网球拍颠球，对吧？那非常动态，需要真正的实时反应。你不能就那样。物理规律、重力不会等你，对吧？所以出于这个原因，机器人模型必须能够非常快速地推理。而最快的方式就是在本地部署，比如在设备上，对吧？因为如果你调用一个模型——

Swyx [00:18:39]: 网络延迟。

Jason Ma [00:18:40]: 没有保证——

Vibhu [00:18:41]: 自动驾驶汽车。

Jason Ma [00:18:42]: 没有保证，对吧？所以出于这个原因，最终部署的模型必须是合理的大小，能够在本地运行。但这并不意味着你最初训练的模型也必须很小，对吧？就像语言模型——

Vibhu [00:18:57]: 你可以蒸馏。

Jason Ma [00:18:58]: 人们会做蒸馏，对吧？让小模型变得非常聪明的最好方式就是做蒸馏，对吧？你训练最大的模型，然后蒸馏，对吧？所以我认为在机器人领域，我们正在朝这个方向走，而且我认为这会是人们最终趋同的做法。是的。

Vibhu [00:19:14]: 那推理呢？你们有自己的推理栈，还是。这其中很多是架构。你们用了 diffusion 之类的。我猜你们可以从某些东西上借鉴。有什么想分享的吗？

Jason Ma [00:19:26]: 所以无论我们部署什么模型，我们都会构建自己的推理栈，因为——就像我刚才说的，延迟非常重要。所以拥有整个技术栈对机器人来说极其重要，对吧？你想针对正在运行的模型类型优化推理速度，这里面有很多工作。所以这就是我们在做的。

构建完整的机器人技术栈：传感器与执行器

Swyx [00:19:45]: 你们真的是全栈，比如——从执行器一直到工业设计 ID，我——之前并不知道这是个缩写。显然也包括模型和数据。

Vibhu [00:19:57]: 我很好奇这些是你们自己的执行器，还是。这其中有多少是你们自己的？比如，当然，设计，它不像人形——执行器，你们在机器人技术栈上深入到了多深？

Jason Ma [00:20:08]: 所以我们考虑哪些需要自研、哪些可以外购的思路是这样的：如果一个组件的输入输出非常清晰，而且已经有极其优秀且成熟的方案，那就没必要自研。比如在这台机器人上，你看到那些激光雷达，对吧？那些黑色圆圈就是激光雷达，用来帮助机器人检测障碍物、在周围环境中导航。这是一项非常成熟的技术，人们已经用了几十年了。它用在自动驾驶汽车上。所以我们不需要从零开始造激光雷达，对吧？一些摄像头也是如此。但对于任何我们认为对整个系统最终性能极其关键的东西，我们的愿景是能够拥有它并自己来打造。其中一件就是你提到的执行器。这是我们正在做、并且打算自己掌握的东西。原因是，执行器的品质以及你如何设计它，真的会决定你能把机器人建模得多好，对吧？执行器是驱动机器人的部件。要想在仿真中很好地对机器人建模，或者做任何形式的建模，你需要挑选非常好、而且确实容易建模的执行器。这才是我们最终在意的。所以我们要自己掌握它。机器人的比例也是一样。这台机器人的比例是我们对照真人来测量的。为什么要这么做？因为我们在用人类数据做预训练。

Swyx [00:21:36]: 哦，是的。

Jason Ma [00:21:36]: 迁移效果最好，对吧？所以有很多这类决策会落实到硬件上，而且和这些紧密相关。因为最终，是硬件承载着智能。智能是极其重要的东西。我们想确保硬件为它服务。

Swyx [00:21:53]: 我只是想强调一下，我不知道这跟你是否相关，但我听过的最有意思的机器人讨论之一，是有个人对执行器、尤其是磁体非常焦虑，因为显然我们在美国不生产磁体。

制造、稀土磁体与全球供应链

Jason Ma [00:22:06]: 不，我们不生产。

Swyx [00:22:07]: 而且只有两个国家生产磁体。

Jason Ma [00:22:09]: 稀土材料。

Swyx [00:22:10]: 稀土，对吧？我不知道那个。化——到底是什么材料？我不知道那是什么东西，但——所以是啊，如果有人对此感兴趣，那显然是我们面临的一个瓶颈。

Jason Ma [00:22:20]: 不，不是瓶颈。

Swyx [00:22:21]: 这就是瓶颈。那我们该怎么办？

Jason Ma [00:22:23]: 这是个好问题，对吧？我认为，关于把制造业带回美国，有很多令人兴奋的讨论，但对机器人来说尤其如此，这实际上比看起来要难得多。而且我想说，即便是现在，美国也没有一家公司真正在美国从零开始制造一切，对吧？比如，即便他们说自己在组装机器人，他们在美国实际做的那些事，原材料仍然来自世界其他地方。我认为，作为机器人制造者，这是真正需要意识到的一点，对吧？比如，我认为，作为一家全栈机器人公司，我们意识到供应链有多长，整个问题有多漫长。这实际上极其困难。而且我认为，如今很多讨论都围绕机器人基础模型数据展开，但我认为硬件以及打造好硬件有多难，被严重低估了。但我认为这将会极其重要。

Swyx [00:23:27]: 这是一个平台，对吧？

为什么 Dyna 要协同设计其硬件与模型

Jason Ma [00:23:29]: 平台，是的。

Swyx [00:23:30]: 有些公司选择成为，我们姑且称之为无平台公司。他们只做模型，而且会说：“我们部署在任何平台上。”我们部署在 Optimus 上。

Vibhu [00:23:37]: 现成的机器人。

Swyx [00:23:38]: 所以，这是一种选择，对吧？比如，显然你们拥有一切，所以你们可以那样做。你认为自己会在美国制造更多，还是会建立自己的全球供应链？可能的方向是什么？

Jason Ma [00:23:52]: 所以我们目前正在探索许多不同的选项，对吧？因为有了全球供应链，就会有一些地缘政治方面的问题，对吧？

Swyx [00:24:02]: 运输。

Jason Ma [00:24:02]: 运输。还有运输延误以及诸如此类的问题。

Vibhu [00:24:04]: 字面意义上的运机器人的船。

Jason Ma [00:24:06]: 而在美国，从零到一就是需要一些时间，对吧？所以我们正在尝试思考一种解决方案，既能让我们在美国制造更多，同时又能利用全球供应链，对吧？但我确实认为，回到你之前的问题，有些公司选择只做模型，而我们做一切，我认为把这一点做对非常重要。我觉得对机器人来说，难的是。比如构建整个系统。构建整个系统需要哪些必要的东西？比如，以前我在 DeepMind，我在 NVIDIA，主要只是构建模型，我看到了当你不控制硬件、当你无法优化它时系统的上限，对吧？因为如果你思考机器人为何创造价值，最终机器人是来提供服务、解决一些物理任务的。所以如果你想解决物理任务，你就要能够优化一切，这很重要。

半人形机器人：轮子、躯干运动与灵巧性

Vibhu [00:25:02]: 我们有这台机器人。你得跟我们讲讲设计。你们自己的定制平台。你们怎么称呼这个？

Jason Ma [00:25:11]: 我们怎么称呼它？

Vibhu [00:25:12]: 是的，所以它不是人形的。它非常流畅，但那个旋转手臂是什么？

Jason Ma [00:25:16]: 是的，所以我们大体上把这看作一种半人形机器人。基本上，上半身像人形。它当然有肩膀，有手臂。腰部还有四个自由度。所以你基本上可以做人类能做的所有上半身动作。但它是半人形，因为下半身是轮子。好，那我们为什么选择轮子？因为我认为这里有差别。存在最优实用性与性能之间的权衡。我认为用腿的话，能耗——能耗会高得多。它会不稳定得多。安全性将极难保证。所以目前，对于腿式机器人，实际上并不能保证机器人全程保持直立、平衡。我相信你们都看过很多那种机器人跳舞视频。就是机器人跳舞那种。

Swyx [00:26:08]: 看过跳舞，是的。它们全都很容易摔倒。

Vibhu [00:26:10]: 不，但你也会看到那些一眼就能看出并非量产的演示，你可以击打机器人，也可以把它推倒，它表现得很好。但那台机器人只是擅长平衡，对吧？就像——有一个。

Swyx [00:26:21]: 我认为更有意思的是你们所创新的东西。所以我们有一台原型机，就是后面这台 Mewtwo。

Jason Ma [00:26:29]: 你可以这么叫它。

Swyx [00:26:30]: 这基本上只是一个上下轴，而你们后来选择走向像这样的东西，它能够倾斜。我们会展示洗衣演示，你必须探身进入机器。对吧？那是另一个自由度，我甚至找不到词来形容。它不是俯仰，也不是偏航。是别的东西。

Jason Ma [00:26:47]: 所以是的，我们是怎么考虑这一点的，对吧？就像，。所以实际上，它在锻炼中用得很多。比如，我想有时候，几年前我锻炼时，不小心拉伤了肌肉。对吧？我相信你们也有过这种经历，对吧？然后接下来几天你根本动不了，或者像你睡姿不对拉伤了，所以脖子非常僵硬。我们都经历过。然后每当你经历这些，你就会意识到，哇，日常生活中我们使用了这么多肌肉、这么多自由度，而我们却把它们视为理所当然。但一旦它们失灵，你去做一些觉得很自然的任务就会非常别扭，对吧？所以我们设计机器人时也是这么想的。当你有一种——这种设计，纯粹是升降式的，只能上下移动，我们意识到人类躯干的很多动作，比如我们在日常体力活动中大量使用腰部和背部，对吧？即使我想拿这个瓶子，我也不仅仅是在动胳膊。如果我必须有意识地想着固定上半身，对我来说其实非常奇怪。我总会这样做，对吧？所以人类移动身体有很多下意识的方式，我认为如果机器人拥有相应的自由度，这些方式同样会很有用。如果你再进一步想，好，我们想从人类数据中学习。比如，人类一直在移动躯干。你希望能把这些纳入模型来控制机器人。但如果你的形态不允许这样做，那么迁移就会变少，机器人的灵巧性也会下降，只是会更别扭。

将人类预训练迁移到新的机器人硬件

Vibhu [00:28:22]: 这方面的数据标注是怎么回事？就是，我——你见过有人，。这是最后的后训练微调环节，实际上是花一个小时用遥操作或远程控制的机器人来映射动作吗？还是其中一部分能够泛化过去？

Jason Ma [00:28:41]: 你说的标注，是指？

Vibhu [00:28:43]: 就是，把你现有的、能预测状态的模型，映射到你的特定硬件上。

Jason Ma [00:28:50]: 哦，是的。它泛化得非常好。所以就我给你展示的新机器人上的所有演示而言，因为这台新机器人，我们，它不久前才准备好。所以和我们给你看的那些固定机械臂相比，我们确实没有很多数据，那些机械臂的数据要多得多，对吧？但一台新机器人，模型在预训练中没见过它，在我们的一些预训练模型里也没见过。它能够很快学会你看到的那个任务。我把这很大程度上归功于，比如，甚至在硬件准备好之前，我们就已经决定在人类数据上做预训练，因为我们知道在某个时候我们的机器人会像人一样。你可以在硬件准备的同时，在训练方面抢先一步。而且我觉得现在我们看到这种迁移确实存在，而且确实非常有帮助。

评估新技能并从真实世界反馈中学习

Vibhu [00:29:35]: 谈谈这方面的评估。所以你可以有预测，可以让它做事，我们时不时会看到它漏掉一些东西。你们也会在非常小众的事情上测试。比如往药瓶里装药。这个过程要花多久？你怎么看待真正部署到一个新任务上、评估它、迭代这个方面？那是什么样的？

Jason Ma [00:29:56]: 是的，所以如果我们想学一个新任务，我们基本上会做一点点机器人数据采集。然后模型，这些——

Swyx [00:30:04]: 一点点是什么样的？

Jason Ma [00:30:05]: 是的，比如几个小时。是的，我们——在有些任务上，就只有几十分钟，对吧？是的。然后——

Swyx [00:30:11]: 切菜那个是45分钟。

Vibhu [00:30:13]: 开冰箱那个是在——

Swyx [00:30:14]: 而且那是一次面试——那就像是给你的一位工程师的入职任务。

Jason Ma [00:30:18]: 所以，。

Vibhu [00:30:20]: 如果你想来这儿工作，这事儿挺有意思的，你知道。找到任务，让机器人去做。

Jason Ma [00:30:24]: 给我提一个新任务，我会来办公室，采集一些数据，训练一个模型，看看会发生什么。

Vibhu [00:30:29]: 系鞋带。

Jason Ma [00:30:31]: 真的，就是系鞋带。是的，那会很酷。不过是的。所以，你知道。一点点、少量采集的数据，训练一个模型，然后我们就直接把模型部署到真实世界。然后我们看表现，然后——

Vibhu [00:30:41]: 补充一下，采集的意思是你——你有一个人实际在操作——

Jason Ma [00:30:46]: 操作。

Vibhu [00:30:48]: 做一会儿这个任务。然后你训练？它表现还行，你再改进。你怎么衡量？

Jason Ma [00:30:56]: 所以当你在训练模型时，有某些指标可以看，对吧？就像训练模型一样，它会很好地收敛。现在，在那之后，对于今天的机器人来说，我们只是在真实世界里运行模型，对吧，在采集数据的同一套装置上，看看模型表现如何。有时候模型开箱即用就非常好，对吧？你其实不需要再做太多。但当模型也许只到了百分之七十、百分之八十的时候，你就会看模型如何表现。你弄清楚它不擅长什么。然后你可以再采集一点数据，再迭代，对吧？我把这看作机器人版本的基于人类反馈的强化学习，对吧？机器人进行 rollout。你可以给它打分：好、差，或者还算好。然后这些数据，也就是机器人自身的经验，可以用来训练模型。你也可以自己再采集更多数据来训练模型，对吧？最终，我们的目标是，这个机器人将成为我们的平台。任何人应该都能在上面训练任务。

长程任务与通用机器人的瓶颈

Vibhu [00:31:59]: 我想要一点关于这会走向何处的预测和时间线。现在这些任务还比较简单，比如——把衣物拿出来。是一条毛巾。你不能把它压坏。切一些食物。还有另一面，比如，好，布置这个摄影棚，对吧？把东西挪来挪去，搬来一张桌子，架好灯。我觉得——

Swyx [00:32:21]: 管理我的数据中心。还有，充——比如，给另一台机器人充电。

Vibhu [00:32:29]: 我们什么时候能看到工厂，或者说我们需要把什么扩大规模？是模型？是一切？看起来你们的硬件已经为此准备好了，但我们要到什么节点，才能从不只是切一样东西，变成“好，这是一份食谱。”

Jason Ma [00:32:49]: 我会说，要达到真正的通用机器人，基本上就是一个什么都能做的机器人或模型，比如——

Vibhu [00:32:58]: 不是那个。就是，好，所以为了让它在技术层面上比较务实，比如——我们什么时候开始看到我们在推进那种反馈，对吧？所以——

Jason Ma [00:33:06]: 我明白了。

Vibhu [00:33:06]: 而不是非常简单的切菜——也许是一个五到十分钟的序列，对吧？现在到了评估这一步，它可能在更多地方出错。而不是只装满一个药瓶——十种不同的药片全部按一个序列来，对吧？是什么在限制我们？我们在推进什么？

Jason Ma [00:33:20]: 是的，我觉得。是的，我觉得有几件事。一是你看到的那个洗衣演示，是的，完成整个循环大概要一个小时，对吧？所以机器人完成一项完整工作的最长时长已经在小时这个范围了。对吧？但要能对任何任务都做到这一点，我认为瓶颈又回到了数据和硬件，对吧？所以对于某些任务，比如布置空间，你可能需要的不只是平行夹爪，对吧？你可能需要更灵巧的东西，比如一只手，像人手那样，对吧？但如果你想在这只手上训练模型，那你就会受硬件稳定性的瓶颈限制。比如，手——今天，最好的手、灵巧手仍然不够耐用。它们很快就会过热，对吧？所以这就成了瓶颈，对吧？比如，你——我们——你简直得放一个冰袋——

Swyx [00:34:15]: 冰。用来冷却。

Jason Ma [00:34:16]: 人类。

Vibhu [00:34:16]: 我们不只是在自动研究、把已有模型做得更好。我们有硬件限制。

Jason Ma [00:34:20]: 是的，所以硬件限制是件大事。但如果硬件受限，那就会拖慢一切，对吧？因为要知道你在任何任务上是否取得进展，最终你都得在硬件上做评估，对吧？所以如果评估不能非常即时、非常快，那也会限制你的研究进展，对吧？因为那样的话，我们该如何收集正确的数据呢，对吧？我想，我们该如何收集正确的数据，去做极其复杂的事情，比如布置这个演播室，对吧？因为你可以想象，如今大多数数据都是基于视觉的，对吧？就像视频流，再加上一些对手部动作的编码，也就是机器人的关节。但人类有多得多的传感器。我们能听见。我们能感觉到。

Swyx [00:35:05]: 气味。

Jason Ma [00:35:06]: 是的，你能闻到气味，对吧？所以我们会下意识地运用所有这些，帮助自己如此擅长操控物理世界。但如果今天我们完全没有采集这些，那么即便扩展到数百万小时，你可能仍然缺少任务的关键维度，于是你永远无法解决这个任务，对吧？所以我认为这些就是我认为在拖慢时间线的因素。但对于那些你今天就能以高保真度采集数据的任务或工作流，我并不——我并不一定认为存在根本性瓶颈，对吧？就像我们本周向公众展示的那样。我们有一个物理智能体，能够像人类一样完成整个洗衣工作流，对吧？因为对于这项任务，我们并没有那种情况，比如，哦，你其实需要的不只是平行夹爪。你其实需要某种今天根本不具备的传感模态，对吧？所以我确实认为，要做出更加通用的东西，最大的瓶颈仍然是硬件和数据。

真实世界部署：Best Western 与鼎泰丰

Swyx [00:36:06]: 我想借这个机会谈谈——让你夸夸你们的客户和合作伙伴。你们已经公布了一些合作关系。我们可以从 Best Western 开始，然后再说说其他一些你们引以为傲的。有趣的故事，诸如此类。

Jason Ma [00:36:20]: 所以我们在网站上有一篇部署博客文章，讲得详细得多。我真的建议去看那个视频，因为我觉得那个视频——

Swyx [00:36:29]: 哪一个？Best Western 那个？

Jason Ma [00:36:30]: 不，我们有一个视频，涵盖我们正在合作的所有客户。这是一个非常棒的视频。它展示了我们在做什么。是的，我觉得它很棒。不过是的，我们有客户，Best Western。那是在酒店领域。我们为他们折叠大量洗衣毛巾。每家酒店都需要，每家健身房都需要，每个健身中心都需要。-

Swyx [00:36:51]: 到目前为止部署情况如何？怎么——比如，我能去哪里——我该去哪一家 Best Western 看它？

Jason Ma [00:36:56]: 所以如果你想去某个地方，我其实建议去我们的另一处部署，鼎泰丰。你们去过——

Vibhu [00:37:04]: 皮非常薄。

Swyx [00:37:05]: 我们本该在那里拍摄。

Jason Ma [00:37:09]: 刚在那里拍过。

Vibhu [00:37:10]: B-roll。

Jason Ma [00:37:11]: 但在鼎泰丰，如果你去鼎泰丰或其他稍微高档一些的餐厅，桌上会有餐巾，对吧？所以我们的机器人如今为许多不同地点、美国许多不同的鼎泰丰门店折叠成千上万条餐巾。所以这实际上是我们规模最大的客户，对吧？所以我想在这里做一个区分。如今，有很多机器人公司在谈论部署、谈论试点。但真正难的并不是把你的机器人放到一个地点，或者做一次试点。真正难的是客户相信或验证你的机器人创造了足够的价值，以至于他们想在他们的许多门店部署你的机器人。这就是鼎泰丰在我们这里发生的情况，据我所知，做类似通用机器人的其他公司还没有真正做到这一点。所以在鼎泰丰，我们的机器人每天折叠成千上万条餐巾。它——质量标准极高，因为他们希望，比如说，第二次折叠或餐巾的接缝只比那个我甚至不知道该怎么称呼的口袋低几厘米，这样你才能把筷子插进去。所以这实际上是一项非常精细、高精度的任务。我可以给你看。

Vibhu [00:38:26]: 在某种层面上，这也正是机器人擅长的，机器人也擅长这个，对吧？人类并不是最稳定的——尤其是在小细节上，而机器人可以在某种程度上做得完美。有意思的是，你用这个例子来说明通用机器人，而在某种层面上，我觉得人们会以为——你可以有一台专用机器人，把餐巾完美折叠到精确的毫米，而不是像这样的东西，但是。

Jason Ma [00:38:53]: 是啊，我确信，也许你可以，对吧？但操作可变形物体的难点在于，对吧，比如餐巾、毛巾，一切都是——可变形的。可能的构型简直无限——无穷多种可能构型。所以这对专用机器人来说真的很难，对吧？而我们发现，通过在机器人中开发一个通用模型，并把它适配到这些用例上，你实际上可以更快达到生产级质量。真正好的是，现在鼎泰丰已经扩大了规模，和我们签了一份大得多的合同，他们不仅想让我们的机器人折叠餐巾。现在他们想让我们的机器人去切。所以我们才有了那个——例子，把食物切到——

Swyx [00:39:31]: 那实际上是第二个用例吗？

Jason Ma [00:39:33]: 那是他们正在考虑的用例之一。鼎泰丰每天需要切那么多蔬菜。

Swyx [00:39:38]: 他们需要做饺子。

Jason Ma [00:39:39]: 没错。到折褶这一步。那才是最终Boss。那是——

Vibhu [00:39:41]: 那是最后一个。

Swyx [00:39:43]: 我觉得你可以。我觉得你有做这件事所需的灵巧度和精度。

Vibhu [00:39:46]: 你有一个小机器人。

Swyx [00:39:47]: 但别，别把饺子弄破。

Vibhu [00:39:50]: 那显而易见的好处就是你可以再适配它们。

通用机器人、速度与规模化下的一致性

Vibhu [00:39:54]: 我觉得你真正点到的另一件事是速度，对吧？要按精确层数做定制餐巾折叠，不管是什么——你都得造出那台机器。你没法直接在 Amazon 上买到。但这个可以做得相当快，对吧？

Jason Ma [00:40:07]: 对，这个可以做得非——非常快。而且现在它其实已——已经达到人类同等水平。而且这个机器人不会累，也不需要，你知道的。你可以。而且我真的很喜欢你提到一致性这一点，对吧？比如，Din Tai Fung 的一个问题是，他们的 LA 门店和纽约门店、西雅图门店，折叠餐巾的方式略有不同，但从他们的角度，他们想要一致性。但这恰恰是这些模型所擅长的，因为模型就是，仅仅是一组权重。你可以把这些权重放进不同地方的不同机器人里——

Vibhu [00:40:43]: 你也可以对它们进行 OTA 更新。

Jason Ma [00:40:45]: 对，你可以一次性把它们全部更新。就是。一旦它能用了，我觉得这真的，就像- 不可思议。

Vibhu [00:40:52]: 最终 Boss 是 Cheesecake Factory。如果那里的情况是，他们从零做起。一切都非常一致，精确到称量的克。每一种酱都是做出来的。比如，无论你去世界上任何地方，你都会得到完全一样的东西。你要是不知道，你就不知道。但那就是、那就是最终的。

机器人学的苦涩教训：规模化正确的数据

Swyx [00:41:07]: 我想到的说法有点像机器人领域的苦涩教训，对吧？你不是去做专用机器人——那需要大量工业工程——而是构建一个通用平台，它能够- 做最后一公里的微调，并且-

Vibhu [00:41:18]: 没错。

Swyx [00:41:19]: 并且做所有那些事。

Vibhu [00:41:20]: 把专家附加组件放在你的之外。什么是更苦涩的机器人教训？

Jason Ma [00:41:25]: 对，我觉得机器人领域有好几条苦涩教训。其一是，机器人学将会像机器学习已经解决的其他任何领域一样进行规模化，对吧？那这意味着什么？意味着拥有尽可能多的数据。但在机器人领域，难得多的一点是，什么才是正确的数据，这比其他领域难弄清楚得多，对吧？语言就是文本。在电子游戏里，就只是游戏数据。但对机器人来说，你选择什么传感器，就决定了你拥有什么样的数据，对吧？但如果你有一套正确的传感器，并且只是把那些数据规模化，我认为你会在模型性能上得到可预测的回报。所以从这个意义上说，机器人学并没有那么不同。所以这就是苦涩教训。由此而来的一个推论是，机器人领域有大量研究带着非常具体的先验出来。比如，我们需要让机器人按物体本来的样子去看，画一些框。那会给机器人更好的感知，对吧？但我认为这里的苦涩教训是，只要让算法保持更简单，并规模化正确类型的数据。然后泛化、更好的行为就会涌现。所以这并没有那么不同。以及第二点。我认为那才是主要的苦涩教训，也就是说，归根结底，规模化会奏效，但在机器人领域，去规模化以及如何规模化要难得多，因为没有互联网。你必须自己做出硬件，做出传感器，把这些都做对，然后再规模化。然后我觉得，。

人形机器人、务实迭代，以及通往通用性的路径

Vibhu [00:42:53]: 有一种观点认为，这个世界在很大程度上是为人类打造的。它应该是人形的，对吧？尽管这是一个很难的硬件问题，但想想十年、二十年、一百年、两百年之后，我们能否造出一个真正高效的人形？但你必须务实地面对我们现在所拥有的东西，对吧？

Jason Ma [00:43:12]: 所以我的想法是，是的，最终机器人应该如此。如果我们想打造一台通用机器人，对吧，也就是一台能尽可能适配更多使用场景的机器，我认为人形形态会是最好的选择，只是因为这正是我们长期以来一直在做的事情，对吧？但我认为，真正打造人形机器人的最佳方式是采取迭代方法。因为机器人技术太难了，整个问题、整个技术栈都太长了，很难事先知道什么才是正确的决策，对吧？而且因为硬件决策要昂贵得多、成本高得多，只是因为硬件迭代慢得多，所以你实际上想采取渐进式的迭代方法，而不是一步到位做到最终形态。因为你造出来的东西很可能撑不下去。它不够好。所以你最终还是会把它推翻重来，你知道的。比如，公开消息显示 Optimus 已经经历了很多次迭代，他们不得不推翻自己的设计，对吧？而且我认为，通过以半人形形态进行迭代，并真正把它们交给真实客户，或者让模型真正部署出去，你就能获得那种反馈循环；如果你只是试图打造那种仓库用人形机器人，并花上五年、十年去造它，你就得不到这种反馈。我认为迭代方法实际上会让我们更快地接近最终的机器人。

Vibhu [00:44:33]: 而且我要说，对于那些在听而不是在看的人来说，这可能是我们见过的最流畅的机器人。就像——

连续动作空间与上下文的重要性

Vibhu [00:44:38]: ……你见过的每个人形机器人都一顿一顿的，甚至人类走路都没有这东西这么流畅。

Swyx [00:44:43]: 因为，是的，这个模型是这样的。可以同时移动每一个电机。

Vibhu [00:44:48]: 不止两个 cohort，是的。

Jason Ma [00:44:50]: 是的，而这实际上是一个非常难的问题，因为如果你只是想想这个模型，它在输出动作。这里有动作维度，对吧？维度越大，就越难让模型拟合数据。但在这里，动作空间相当大，但我们做得非常好，确保模型拟合得很好，并给你一个流畅的——

Swyx [00:45:10]: 你能给出动作空间数量级的范围吗，还是说——

Jason Ma [00:45:14]: 是的，所以它的数量级大约是一百个动作维度。

Swyx [00:45:19]: 是的，而且这些全都是连——连续的，对吧？

Jason Ma [00:45:21]: 连续的，对。所以这个模型基本上是在以非常高的频率进行预测，比如几十维，比如至少五十维的向量，大约每秒十次、二十次，从而得到那种连续运动。

Swyx [00:45:34]: 而且可能还要向前预测一到两秒，所以那又是一百帧左右。

Jason Ma [00:45:39]: 当然。

Vibhu [00:45:40]: 这里有一点历史背景，我想有点类似于先前状态的上下文。

Jason Ma [00:45:45]: 所以上下文在机器人领域是非常重要的，对吧？因为否则，如果你只是根据当前观测来做决策，有时真的很难判断下一步该做什么，对吧？比如你想想打开微波炉，在中间那段，就不清楚你到底是在-

Vibhu [00:46:01]: 关上

Jason Ma [00:46:01]: ……关上还是试图打开它，对吧？所以上下文也非常重要。

Swyx [00:46:05]: 我有一张冰箱演示的截图，里面有智能体规划、工具持握等等这些内容。所以我们可以给听众展示一下。

Vibhu [00:46:13]: 我觉得这是一个有趣的方面。在模型之后-

智能体 Harness 与物理工作流规划

Vibhu [00:46:16]: ……你如何把它封装成智能体 harness？比如，什么是-

Swyx [00:46:22]: Claude Code

Vibhu [00:46:22]: ……Claude Code 部署？Claude Code UI。你们有很多很酷的 UI，但把模型输出封装成最终成果，里面都包含什么？这是按用例定制的吗？还是你们有自己的 SDK？

Jason Ma [00:46:37]: So, eventually we will have our own SDK, but the way we think about is we want a general harness layer for robotics foundation model. Today, that is our own model, right? The way I think about is for any Real task, long task in the physical world, there is a lot of a high-level decision-making you have to do, right? It’s not just like robot, only reasoning about the physical world in the action, continuous trajectories, right? Because that’s a very low level, the thing you’re actually executing in the physical world, but that’s not the intent. But like if. When we are doing decision-making, we think about steps of a recipe. We think about, oh I finished this I need to do that. While I’m waiting for this part to finish, I need to go somewhere else to do something else. There’s a lot of high-level cognition, decision-making that’s happening. And I think for robots to handle even, the laundry task we are showing you, it has to have that capability. Because, it needs to reason that okay, the washer is running, so I should go do something else while the washer’s finishing. But now the washer is done, I should take, I should take the towels from the washer and put it in dryer immediately, right? Because if not, then that becomes a bottleneck in the whole workflow, right? So there is a lot of reasoning that needs to happen for robotics. And I think in theory, you could just, try to learn that with a low-level model that’s outputting actions, but it’ll be extremely inefficient. So that is why having a hierarchical system, like putting a harness, like an agentic system around our world action model is what allow the model to compose different capabilities, different skills to solve a much longer horizon task. It’s very much like in language model, right? Like two years ago, three years ago, the model was only good at autocomplete. Like, humans have to tap to get the model to keep spitting out code. But today, just an agentic system just carries the end-to-end task. And that’s. I, and I think that’s important because I think today in robotics, people are still thinking about autonomy at the very task level like one minute, thirty-second task. But really, the value is about tasks or workflows that go on unsupervised for hours. And that’s what we’re building towards. And that’s why I think thinking about. The robotics problem, not just as a modeling problem, but rather as a system problem, you need good agent, good harness engineer, good model, good hardware, everything. It’s like how we think general-purpose robots ought to be solved.

How Coding Agents Accelerate Robotics Research

Vibhu [00:49:07]: Do you guys see benefits from language model coding tools getting better? So new Opus 5.5, new Astra. Do you have language models in your agent harness? How does AGI being developed in language model space affect you guys?

Jason Ma [00:49:24]: No. Yeah, no, absolutely. Like, it affects us very deeply in many ways. One is that we are extremely AI-native company, right? Like, coding agents, all of that is a very fundamental part of our work, and we’re very welcoming of that. Like, whenever there’s a new model, we’re the first one to test it, right? Like, we being. Like, when GPT-6 came out, we had a company-wide hackathon the same week, and the thing that our engineers built was incredible. And many of them are— Many of the features we built is already in main, in production, right? So we really like using coding agents to accelerate our work.

Swyx [00:50:00]: Just for the people interested, anything surprising in GPT-6 that you found?

Jason Ma [00:50:05]: … it’s about the ability for it to construct virtual environments, right? Turns dissemination. We talked that twenty minutes ago. I think that’s really exciting.

Vibhu [00:50:17]: It’s interesting. There were so many CAD, Zillow to 3D-ish.

Swyx [00:50:21]: He lost the hackathon to the CAD, -

Vibhu [00:50:24]: I won the. I did the CAD bullshit. Other way.

Swyx [00:50:27]: No. Oh.

Vibhu [00:50:28]: That was. I won a GPT hackathon just for fun. I was like, “I know nothing CAD.” Might as well play around with it ‘cause every demo is doing it. I’m like, “It’s gonna be garbage.” And I’m like, “Well, it’s kinda grounded, it’s kinda good.” But it’s just hackathon stuff.

Deployment Milestones and Competing Robotics Strategies

Vibhu [00:50:45]:.

Swyx [00:50:45]: Cool. I wa— I was gonna round out, some of the use cases and then go into a little bit of company culture and your personal background.

Vibhu [00:50:52]: I have two technical questions. One is, are there any goals you wanna set for yourself, like six months, one year, two year timeline that you see robots should be able to do, fill in the blank, that you’re kinda working towards?

Jason Ma [00:51:09]: Yeah, in the six months to one year frame, our goal is definitely scaling up our robots and our model and truly getting them to deploy-

Vibhu [00:51:18]: Like a task.

Jason Ma [00:51:18]: … completely different.

Vibhu [00:51:19]: Like, right now it’s cutting or opening a fridge. Is there. Like, do you set yourself to by this timeline, we should, to stay on track, be able to do whatever?

Jason Ma [00:51:29]: I think, in terms of deployments, we’re exploring many different industries. There isn’t a particular task we think we have to nail, right? Because our goal is to build a general model, a general platform, and we think of each different task as validation of our platform as a way, as a wedge for us to figure out how to build everything better. So today, we are doing a lot of that in laundry, in restaurants. We have already deployed tens of robots, but our goal next year is overall just deploying hundreds of robots.

Vibhu [00:52:02]: My part two on the last technical question is, how do you see the rest of the industry? So fill in for people, what other approaches are people taking to world models? Why are they wrong? What is different but good about their approaches as well? Just what is the landscape of robotic world models in this space and why— how have you come to your current?

Jason Ma [00:52:25]: No, that’s a great question. So I think robotics is the most exciting space today, and there are just so many, amazing companies that I truly respect. They’ve been doing great frontier work like us, and it’s very exciting. And I think what we are seeing today is that there’s still many different approaches to robotics. Like, we believe that hardware needs to be built in-house. We need to own the whole, chain. We believe that scaling human data is extremely important. But there are companies that’s betting on just scaling robots’ data or scaling some sort of intermediate data collection devices, right? All of them are in play, and I think it’s different approaches. We’ll just see what happens. I think right now, it’s still a bit early to tell, but we feel pretty good about the way we’re building things just because we as a company, culture-wise, mission-wise, we’re not here to just build a model. We’re here to truly get robots deployed. So we deploy as much as possible, work on the hard problems. So we identify problems much earlier on. So then I think that really helps us identify what the true bottlenecks are and then solve them. And I think for folks, for people who are only working on one part of the problem, it’s kind of like fog of war. You don’t really see the whole picture, and you might be building something that’s extremely cool technologically, but may not be what people need or want at the end, right? I think there’s a whole graveyard of robotics company, and I think all of them had very shiny, very cool robots, but just figuring out what people actually want is actually. It’s very easy to say “Build something people want.” everyone says that but it’s actually really hard to execute a robotics company.

World Action Models vs. Vision-Language-Action Models

Vibhu [00:54:07]: On the technical side, you have your world action model. Is that standard across industry? Is there other directions people are taking?

Jason Ma [00:54:15]: Yeah, I would say that’s also not standard. So we’re building world action model on top of world model. So there is many companies building world model. You mentioned Runway. They’re also getting to adapt-

Vibhu [00:54:26]: Video world models.

Jason Ma [00:54:27]: There are also companies building a vision language action model.

Vibhu [00:54:31]: VLA.

Jason Ma [00:54:31]: So that’s like taking vision language models and adapting them to robotics. So I think there’s many different ways to go about it. But I think at the end of the day what we call the models is less important than what we believe the model needs to be able to do at a first principle level. So I wanna explain that a bit. I think for robotics, the most important thing is that you need to be able to predict the future. Right. Like robotics, any physical system is fundamentally about based on the information you have at the present moment and before, what should you do next? So it’s really about predicting what comes next. So predicting robot actions is like predicting what the robot should do next. But if you think about it, robot is just a part of the world, right? Robot influences the world, but the world also influences how the robot should behave in that environment. So if you think about it this way, then the maximal, the most first principle thing you can do is just predict as much of the world that you can possibly predict, right? So that’s why we believe predicting the future is extremely important. And today, the instantiation is world action model. And VLA only predicts robot actions or some more abstract representation of the world. But whenever you’re predicting abstract representation of the world, you’re encoding your own bias into what’s important to predict. And the bigger lesson tells you, let’s remove human biases. Let’s just take the most raw representation, the camera inputs, and just predict all of that right? So that’s how I think about, modeling for robotics today.

Swyx [00:56:12]: So just to press you a little bit on this you’re, basically you’re saying your approach is better than the VLA, right? Because you’re emphasizing prediction. I fully buy that. I— Like, you’ve sold me on it. If you were wrong, what is the most likely number two-

Beyond Vision: Tactile, Audio, and Infrared Sensing

Swyx [00:56:26]: Someone else is doing?

Vibhu [00:56:27]: Interesting question.

Jason Ma [00:56:28]: So yeah, there’s a caveat in what I’ve said before, and I think that’s where I could be wrong, right? I said that you need to predict the world as much as possible, right? But what that doesn’t say is that does your sensor have everything about the world that you need to predict? I think I touched on this a little bit, right? Like, if you’re training a world model that’s purely based on videos, I think it will be a very powerful world model, but it may not be a sufficiently rich enough world model because you’re missing critical aspects of the world, like sound, like touch, right? So I think where we could be wrong is like, okay, I have the best world model on vision-based world model, but tomorrow someone else comes out with a vision plus tactile world model that’s just like a hundred X more data efficient just because, vision is a very high information or a highly redundant, input because, every other pixel, they don’t change that much. You can see— you can understand the world without perfect vision. But tactile, other modality might be much denser in information, right? So maybe having that predicting that would just allow you to use much less vision. So you can get to the same performance with much less compute, with much less data, right? But-

Swyx [00:57:51]: I think you will be able to adapt very easily.

Jason Ma [00:57:53]: No, exactly.

Vibhu [00:57:53]: There’s also a level of how much data.

Jason Ma [00:57:56]: Right. So the reason why I bring this up is because I think if a vision-tactile world model or vision-tactile-audio, whatever world model, is the final thing that solves robotics, then I think robotics companies will be able to do that better than video generation companies that’s trying to pivot to robotics. The reason is to understand sensing is actually very complicated. Like, we’ve been building that since the company started, so we know the bottleneck. We know how to combine them. But for— if you’re just trying to adapt a video model to robotics action, then if we were wrong, if, video model is not enough, then you don’t really have the know-how to get tactile to work very well. But we have that.

Swyx [00:58:39]: This is a side question, but I think it’s a quick one. Heat seems very important. Is infrared just another color to you, or is that a.

Jason Ma [00:58:47]: Yeah, it could be another-

Swyx [00:58:48]: Just another color.

Jason Ma [00:58:48]: It could be another color, another input to the model. Could be used in cooking scenario, actually. Like, I know companies that’s using infrared to know how cooked food is. Because that’s really hard to tell from RGB camera, right?

Vibhu [00:59:01]: My very naive pushback on your last point is maybe we don’t need to understand hardware, cloud code, or Codex can just, vibe code it in. There’s a lot you can do without understanding, but of course-

Swyx [00:59:15]: It’s just not in the distribution.

Jason Ma’s Journey: AlphaGo, Penn, NVIDIA, DeepMind, and Dyna

Swyx [00:59:16]: So I wanted to bring it a little bit to your personal story or your background. We both went to Penn.

Jason Ma [00:59:24]: I just found out today. Crazy.

Swyx [00:59:26]: Yes. I, my big regret is I didn’t join the self-drive, the Docker challenge. Which, and then I could have been early Waymo or something. You were at Grasp. And then you’ve also worked at Google and NVIDIA. What are the different focuses of let’s say, academia versus Google versus NVIDIA? You’ve seen all these places, right? And then that obviously caused you to say “Screw all that. I’m gonna do my own thing,” right? You could have joined OpenAI’s robotics lab. So may-just take us through chronologically, but also one thing you learned from each.

Jason Ma [00:59:58]: So chronologically, yeah, maybe it’s useful to talk about how I got into AI in the beginning, right? So, as a kid, so I spent time in Japan and China. I grew up playing Go, the Go in AlphaGo. So when AlphaGo came out, I was a senior in high school, and I was mind-blown because I’ve been playing this game for many years. It’s so complicated. Like, I think before AlphaGo came out, people were like, “Okay, Go is one of the game that AI will never solve.” The search space is larger than the total number of atoms in the world. How could you possibly search for solutions in that? Then RL, reinforcement learning just cracked it, right? And I think that was how I got into AI initially. Like, I was just really interested in models or systems, agents that can self-improve, right? So when I got to Penn as a PhD student, I just really wanted to work on reinforcement learning. So I’m co-advised. Both my advisors were interested in RL at the time. One of my advisor was more in robotics. He did a postdoc at Berkeley Robotics Lab. So that’s how I got into robots. At Penn, we have GRASP Lab, I think one of the best places to do robotics. And so that’s how I got into doing RL for robotics in my PhD. And then, yeah, I did a bunch of research thinking about how to connect reinforcement learning, with human data, how to do reinforcement learning, theory in a very rigorous way. And then I went to NVIDIA. That’s when GPT-4 came out. At the time, we were very interested in just solving a pen spinning task. I don’t know why. Like, -

Swyx [01:01:35]: It’s the dexter- it’s the dexterity limit, right? That you can solve Rubik’s cubes, and then you-

Jason Ma [01:01:39]: At the time, I was working with, -

Swyx [01:01:41]: Jinpeng

Jason Ma [01:01:41]: … Jinpeng at UCO, which you guys probably also know. Like, yeah, we were just like, “Okay, let’s try to do dexterous pen spinning.” The initial idea was learning it from human videos, right? We were trying to watch humans do it. But then I realized, okay, today we don’t have a dexterous hand that can spin pencil at all. So how would I even be able to evaluate the algorithm, even if learning from human worked at all? So I thought, “Okay, we need to first try this in simulation.” Then as soon as I tried to set up a simulated environment for a robot hand with a pen, I immediately saw what the issue is. The issue is like, if I had to come up with this simulation environment, the reward function for reinforcement learning to solve pen spinning, that’s impossible. Like, I wouldn’t be able to come up with all the terms that you need to get RL to learn the right behavior. And then I was just thinking, “What if a model that can write code can do that?” That’s what became the Eureka project, right? We basically. Like, in my opinion, we had the first recursive self-improving robotic agent in simulation, ‘cause we really used that to solve a new task that no one has demonstrated before. And that allowed me to see the potential of using language model, using coding models to really accelerate robotics. So then I went to Google DeepMind, ‘cause at the time, even today, they have one of the frontier models in Gemini, right? So I was looking at how to use Gemini for robotics. But eventually I realized like, I had a lot of fun doing academic research, but there was always a question in the back of my mind “Does any of this matter?” like, when you’re working on this kind of thing in a lab you ask me, “How do we come up with so many interesting, fun tasks?” You’re basically doing your own eval. You’re grading your own homework. Like, I wanted something more real. I wanted something that could actually be used by millions of people in the world. And I felt twenty-twenty-four was when we started Dyna, like end of twenty-twenty-four. That was the right time that we can take some of these technology to actually putting them out in the real world. So that’s why

Jason Ma [01:03:45]: I started Dyna with Lindon Gao and York Yang. And fast-forward two years, we built our platform, our model. Our robots are in Din Tai Fung. Go check it out and, -

Vibhu [01:03:55]: Go eat.

Jason Ma [01:03:56]: Yeah, go eat. It’s been a journey. And,. But what still gets me really excited is, like some of— a lot of the ideas that I temporarily abandoned when we started Dyna, because, to build a company, you have to be very practical. Like, I think simulation wasn’t ready in twenty-twenty-four. But now with like the new frontier models and what we’re seeing internally this might change. And that’s very exciting.

Product-Led Research, Experimental Evals, and Company Culture

Swyx [01:04:20]: And so then also let’s talk about company culture. What principles you’re building the company with. Obviously the— you’re responsible for the science and the research, agenda. And it just seems like when we meet the engineers, they are, they’re very engaged and then they have a lot of ownership. They have a lot of motivations.

Vibhu [01:04:38]: I’ll say it’s interesting to see how many side projects people just work on. So some of the demos we’ve seen, it’s just the engineers that work on it were like “Yeah, this seems fun. Might as well do it.” To your point on fun evals, right here, like two feet behind the camera-

Swyx [01:04:55]: Can’t talk about that.

Vibhu [01:04:57]: … just the e— the eval is just there’s highlighters, four highlighters being rubber banded together, right? It’s like, who comes up with, “ yes, we need to test putting rubber bands on high.” It’s just-

Swyx [01:05:07]: Fissionary-ish

Vibhu [01:05:08]: … fun stuff. People are very … creative here. It’s a beautiful space.

Jason Ma [01:05:12]: Yeah, I think culture. Yeah, so let’s first talk about, how we run a company, right? Like, we think of ourself as like a like a eventually like a research plus product company. It’s kind of like OpenAI where you do frontier research, but eventually all of them make their way into Codex through ChatGPT. That’s how we think about it too. We’re not here to just do open-ended whatever thing that interests us at the time. We’re always product-driven. Like, we wanna deploy our robots, our platform to a new customer. What are the technical problems we have to solve, right? We have to solve generalization. We have to solve whole body control. We have to solve how to adapt quickly. We have to solve how to make the robots follow language. We have to solve dexterity. So once all those problems are very clear, then, like. Our engineers are very capable. They’re very smart. So they just create instances of the task. They create tasks that will stress test those capabilities, right? Like the j— the grabbing a drink task is just how we test language following, right? You can just specify what you want. If the model follows intent, follows instruction, it should be able to do it. So that’s how we think about, like. At the top level, we identify what are the things we have to solve. Then we have a lot of bottom sub-project to actually drive execution to solve them. And you hire the right people. And everyone here is super passionate about robots. They’ve been doing this for a long time. They love it. And we just create a culture where it just naturally happens. And it’s a really fun place to work.

The Team: Hardware, Software, Research, and Learning

Vibhu [01:06:44]: What’s the split between technical research software versus hardware side of the company?

Jason Ma [01:06:51]: We recently grew so much, so I don’t have the perfect number. But I would say on the hardware side, we have, I would say probably like thirty percent, forty percent of hardware, just because hardware you need a lot more people. And then we have around ten people working on models. And then we have software engineers, robotics engineer. We have a lot of very talented people on the business side. The most fun thing about building a robotics company is you see everything. Everything under the sun that could possibly be helpful will be helpful, right? And so you just get so much exposure working with so many different people from many different backgrounds who are all very passionate about robots. And I think it’s been really eye-opening for me as a founder. ‘Cause when I was a researcher at a lab or a PhD student, I was talking to researchers every day, and that was great. That was really good. I still get to do that every day, but now I also get to learn just from so many different people from different walks of life. Like, some of our people who collect data, they had no robotics experience. They were working in retail, working in some other jobs, and they came here, you know. They also became very well-trained in robotics, and I think that’s just pretty amazing to see. And I think of myself as I’m still learning, you know. I think of myself as just always learning in the robotics space, and I haven’t learned so much as I am now. Even though, you think about me now, I’m not a student anymore. I’m here running a company, managing a lot of things, but I still feel like the day-to-day learning is just so much.

Dyna’s Vision and the Origin of Its Name

Swyx [01:08:29]: And then just to close off, where’s Dyna going? Two years, five years, what’s, the vision?

Jason Ma [01:08:37]: Yeah, I think our vision is to truly— The high-level mission is truly bring robots and intelligence, right, into the physical world. Like, actua— That means actually seeing our robots deployed thousands of customers, even more, millions of robots. That’s where we wanna get to.

Vibhu [01:08:58]: What’s the what’s the name from Dyna? Dynamic? Is there a is there a story?

Jason Ma [01:09:03]: Yeah, there’s many stories. So I na— I named Dyna. There were a lot of internal options.

Vibhu [01:09:09]: Take the credit.

Jason Ma [01:09:11]: … internal, different options. But how the name came to be was, there are two things. One is so, Turing Award winner, Richard Sutton, who was the pioneer of reinforcement learning, wrote a paper called Dyna many years ago. It’s about basically an agent that self-improves, world model. And I felt even when we started the company we weren’t doing world model yet, but I felt that’s how robotics will get solved. And now our technology direction is converging to that. So I felt that was a really neat inspiration, also because I worked in reinforcement learning, I have a lot of respect for Richard. The second thing is that it’s a bit more personal. Like, I grew up in Japan, and the year I was born, there was just a cartoon show. I don’t know if you guys have seen Ultraman.

Swyx [01:10:00]: Yeah, of course.

Jason Ma [01:10:01]: The yeah, the Ultraman that year was called Dyna. So, yeah, it’s a very subtle thing not people know, but I guess now everyone would-

Vibhu [01:10:10]: The team is finding out too.

Swyx [01:10:13]: But I think Richard would appreciate it. I don’t know if you ever talked to him, but-

Jason Ma [01:10:16]: No, I’ve seen him at RL conferences.

Swyx [01:10:18]: You should just be like, “Hey, this company-”

Jason Ma [01:10:20]: Yeah, I’ll invite him, come-

Swyx [01:10:21]: Inspired by you.

Vibhu [01:10:22]: Everyone knows Richard for a better lesson, but you know.

Jason Ma [01:10:24]: Yeah, also better lesson.

Swyx [01:10:27]: Okay, any parting thoughts or calls to action?

Closing: Deploying Real Robots and Building the Future

Jason Ma [01:10:31]: Calls to action. Yeah, I think I do feel like as an industry, robotics is still very demo-oriented. Like, I have done a lot of demos in the past in the lab, even here we had to show some demos. But I think we need more people that’s truly, mission-focused on doing whatever it takes to get robots deployed, get, robotic foundation models truly integrated with hardware and seeing them at real customer sites. I think we’re a pioneer on this regard, and I wanna see more in this field. And for the audience that’s watching, if this mission inspires you, if, solving the hardest problems today is what makes you wake up every day and you wanna contribute, we’re always hiring and yeah, looking forward to that.

Swyx [01:11:14]: Bay Area? Anywhere else?

Jason Ma [01:11:16]: Yes, just Bay Area today.

Swyx [01:11:18]: Bay Area.

Jason Ma [01:11:18]: But as company grows, never say never to other locations. Yeah, but that’s what I wanna say, and I wanted to see more robots in the world.

Swyx [01:11:27]: Cool. Congrats on everything. This is incredible progress for two years. Yeah. Amazing.

Jason Ma [01:11:34]: Yeah, I really appreciate it. Thank you for visiting us. I hope it’s been fun.

Swyx [01:11:40]: I don’t regret doing this on site. We do a lot of interviews in our studio, but this was worth it.

Jason Ma [01:11:48]: I think for robotics, gotta do it on site.

Vibhu [01:11:51]: For people listening in, watch the video version. We have fun B-roll.