Dyna Robotics 联创 Jason Ma 谈 Dyna-2 世界动作模型与小时级自主机器人
Dyna-2: General Purpose Physical Agents with Hour-Long Autonomy — Jason Ma, Dyna Robotics
Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在 Latent Space 播客中介绍，公司上月发布的 Dyna-2 是首个在超过一百万小时人类视频上预训练的世界动作模型，可预测未来视频并据此生成机器人动作，随后又推出实体机器人智能体 Dyna-2.1。
Dyna Robotics 联创拆解世界动作模型的数据瓶颈与部署取舍，可了解通用机器人从演示走向量产的现实约束。
译文尚不完整，完整内容请切换到原文。
观看 AIE NYC 并下个月在旧金山加入我们的 AIE CODE！
本期节目包含 Taku 机器人的现场演示，在 YouTube 上观看效果最佳。
上个月，Dyna 宣布了 Dyna-2，这是一个在百万小时人类视频上预训练的世界行动模型，声称在人类数据上跨越四个数量级发现了若干新的缩放定律，引起了轰动。他们现在又推出了该模型的物理机器人代理 Dyna-2.1，必须亲眼所见才能相信：
在今年 AIE 的演讲中，Jason 谈到了现实世界中机器人技术面临的真正挑战是可靠的长时程自主性，以及 Dyna 如何让其模型在连续 24 小时折叠餐厅餐巾纸时达到 99.4% 的成功率，包括在拉倒整叠餐巾纸后恢复。
从在超过一百万小时的人类视频上训练世界行动模型，到在鼎泰丰每天部署折叠数千张餐巾纸的机器人，Dyna Robotics 正在将物理 AI 从令人印象深刻的演示推向现实世界的生产。在本期节目中，Dyna Robotics 联合创始人兼首席科学家 Jason Ma 现场加入 swyx，深入探讨机器人如何仅从 45 分钟的演示中学习新任务，为什么预测物理世界的未来可能是通用机器人技术的关键，以及构建能为真实客户可靠工作的机器人究竟需要什么。
我们深入探讨了 Dyna-2，Dyna 的百万小时世界行动模型，它将未来视频预测与机器人动作相结合，人类到机器人迁移背后的缩放定律，扩散变换器和流匹配，以及为什么合成环境和自生成训练数据可以开启下一波机器人技术的进步。Jason 还解释了为什么 Dyna 自己构建硬件而不是依赖现成的人形机器人，代理框架如何使机器人能够执行长达一小时的工作流程，为什么灵巧手和缺失的感官数据仍然是主要瓶颈，以及是什么将真正的商业部署与机器人初创公司的坟墓区分开来。我们还涵盖了世界行动模型与视觉-语言-行动模型的对比，GPT-6 和机器人中的编码代理，以及 Jason 从 AlphaGo 和宾夕法尼亚大学到 NVIDIA、Google DeepMind 和创立 Dyna 的历程。
我们讨论：
为什么 Dyna-2 在超过 一百万小时 的人类视频上训练
世界行动模型：预测未来视频以指导物理机器人动作
扩散变换器、流匹配和实时机器人控制
机器人如何仅用 45 分钟的演示 学习新任务
为什么机器人技术 没有互联网的等价物，数据仍然是其最大的扩展挑战
人类第一人称视频、机器人演示和跨具身迁移
合成环境、模拟和生成自己训练数据的模型
为什么机器人需要 设备端推理、模型蒸馏和定制硬件
为什么 Dyna 选择 轮式半人形机器人 而不是传统的双足机器人
硬件瓶颈：为什么 灵巧机器人手 仍然会过热
Best Western、鼎泰丰，以及机器人试点与规模化部署之间的区别
机器人学的苦涩教训：扩展数据，而非工程化专用解决方案
智能体执行框架与机器人执行多步骤、长达数小时的物理工作流
GPT-6、编程智能体以及为机器人研究生成的 AI 仿真环境
世界动作模型 vs. VLA，以及为何仅靠视觉可能不够
Jason 走过 AlphaGo、宾夕法尼亚大学、NVIDIA、Google DeepMind 以及 Eureka 项目的历程
Dyna 的研究文化、部署优先的理念，以及让数百万机器人落地的愿景
Jason Ma
Dyna Robotics
时间戳
00:00:00 引言与 Dyna-2 的世界动作模型
00:03:08 扩散 Transformer、流匹配与通用机器人
00:08:19 机器人数据瓶颈
00:13:50 合成数据与自我改进的世界模型
00:16:51 实时推理与模型蒸馏
00:19:45 全栈机器人：硬件与供应链
00:25:02 Dyna 为何打造轮式半人形机器人
00:29:35 教机器人新任务并评估性能
00:31:59 自主工作流与硬件局限
00:36:06 在 Best Western 和鼎泰丰的真实部署
00:41:07 机器人学的苦涩教训
00:46:13 面向物理 AI 的智能体执行框架
00:49:07 GPT-6、编程智能体与 AI 原生机器人
00:52:02 世界动作模型 vs. VLA
00:59:17 从 AlphaGo 到创立 Dyna Robotics
01:04:20 Dyna 的研究文化与机器人学的未来
文字记录
引言：Jason Ma 与 Dyna Robotics
Swyx [00:00:00]： 好的，我们来到了现场，与 Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在一起。感谢邀请我们来到你的办公室。
Jason Ma [00:00:06]： 当然。感谢你们到来。
Vibhu [00:00:07]： 真是太棒了。我们看到了——你们会看到很多 B-roll——机器人拉出饮品，大量评估，还有第一次见到带刀的机器人。那么，在这一切的背后，你们有一个世界动作模型。那是什么？
Dyna-2：一个预测未来的世界动作模型
Jason Ma [00:00:22]: 所以上个月，我们发布了我们的世界动作模型，叫做 Dyna-2。这是首个在超过一百万小时数据上训练的世界动作模型。那么先回到你的问题，世界动作模型是一种能够预测未来视频、预测世界未来状态的模型，因此得名世界模型。但除此之外，你还可以利用这种未来生成来产生机器人可以在物理世界中执行的动作，从而控制机器人。那么我们为什么这样做呢？这是一个非常强大的架构，因为如果你想想人类在物理世界中是如何行动的，在我们的大脑中，我们其实是在隐式地思考世界将如何根据我们的行动而演变。所以现在我们有了一个能够做到这一点的模型架构，来指导机器人的动作。我们发现，通过这样做，模型变得更加灵巧、更加鲁棒，并且更有能力泛化到它从未见过的环境和场景中。
世界动作模型：输入、输出与视觉推理
Vibhu [00:01:17]: 我想稍微追问一下这个问题。我觉得很多人听到世界模型，就会以为你输出的是视频或世界或 3D 状态。你同时也在做动作。我觉得大多数人并不了解机器人技术底层用的是什么模型。那么输入和输出是什么？训练数据是什么？架构是什么？给我们讲讲所有细节。
Jason Ma [00:01:39]: 那么，对于输入来说，最重要的输入是视频，对吧？你可以想想机器人用它的摄像头拍摄的视频，对吧？所以过去许多秒的视频或图像，这就是输入。但对于机器人来说，真正有趣的是，机器人自身也有很多执行器和关节编码器。所以机器人也知道它关节的角度。这些也可以作为这个世界模型的输入。这与仅仅看视频的纯视频模型非常不同，对吧？这就是输入。此外，对于机器人来说，你希望能够与它对话，指示它去做不同的任务，对吧？所以你还可以输入语言指令。所以这些就是我认为进入任何机器人模型（包括世界动作模型）的基本输入集合。有了这些之后，在输出方面，最基本层面，它需要输出机器人可以在硬件上执行的动作。但在世界动作模型的情况下，真正有趣的是，除了动作之外，它还可以输出未来视频，对吧？所以基本上，你几乎可以先输出未来视频或它的某种表示，然后用它来指导机器人的动作。所以我对此的理解是，这有点类似于思维链，你知道吧。基本上，模型是在视觉、物理空间中进行推理，然后输出动作。所以这就是世界动作模型的输出与其他类型的模型、机器人模型的输出之间的关键区别。
扩散 Transformer、流匹配与平滑动作
Vibhu [00:03:08]: 你围绕你的模型发了一篇不错的博客文章。我想很多人都理解语言模型或 transformer、下一 token 预测器。在这个案例中，你分享了不少内容。有扩散、流匹配，你在预测下一个世界状态加动作。你说到一百万小时。你如何确定架构？比如，那里有哪些选择？架构是什么？我觉得在语言模型里，很多都是拿现成的东西——拿数万亿 token，做预测、SFT、RL，然后你就有了一个模型。那这个呢？你如何从零到你的模型？是有现成的 vanilla 架构吗？这些是你决定的吗，当前状态是什么？
Jason Ma [00:03:49]: 是的，我觉得，是的。所以思考我们如何为机器人构建模型的思维框架是，基本上有几件事要看。一是数据，第二是我们如何让模型从这些数据中尽可能多地学习。那我们先谈谈模型本身，对吧？我们发布的博客文章是我们的 Dyna-2 世界动作模型。其底层是一个扩散 transformer。该模型使用仅编码器的 transformer 架构。
Vibhu [00:04:20]: 对，是的。
Jason Ma [00:04:20]: 但真正有趣的是，在视觉领域，对吧，如果你想想生成图像、生成视频，而在这种情况下，机器人看着图像来生成动作，人们发现扩散类架构效果非常好。那么什么是扩散模型？扩散模型是一种接收一些随机噪声，并通过迭代计算从噪声变成非常高维、非常明确且具有非常细粒度特征的东西的模型。如果你想想生成图像，对吧，你想要锐利的边缘、锐利的角、颜色对比。而对于机器人，即使你不是在生成图像，你是在生成需要非常精确、非常平滑的动作，对吧？所以它有着与生成图像相同类型的考量和需求。所以这就是为什么从第一性原理出发，整个领域，不只是我们，一直在使用这种扩散 transformer 架构来训练机器人基础模型。你需要 transformer 这一部分，因为 transformer 正是那个可以摄入最多数据、能够学习的东西。然后扩散帮助你细化输出，得到你实际在机器人上执行所需的平滑、精确、细粒度的运动。所以这就是我们最近许多突破背后的架构。
Swyx [00:05:37]: 我们之前在播客里讲过流匹配。它主要是一种效率上的加速。比如，假设你通常需要四十到一百个扩散步骤。你可以把它减少到四步。
Jason Ma [00:05:48]： 是的，没错。所以对于扩散模型来说，实践中非常困难的一点是你需要调整调度器，比如你调整或转换初始噪声输入到最终输出的程度。所以流匹配有点像扩散模型的一个特例，它使变换变得简单得多。在实践中，你不需要调整那么多，而且效果一样好。这就是为什么我认为大约两三年前，大多数图像和视频的生成建模已经从扩散模型转向了流匹配模型。但概念是一样的，流匹配只是扩散模型的一个特殊的、更易于调整的变体。是的。
Swyx [00:06:26]： 这实际上让我想到。所以流匹配显然在质量上有取舍。但实际上，它非常适合动作扩散和机器人技术，因为你可以实时重新评估。而在图像中，你基本上是——它基本上是一次性的。
Jason Ma [00:06:40]： 没错。
预训练通用机器人并适应新任务
Vibhu [00:06:41]： 这挺有趣的。我们得以摆弄叠衣服机器人……扔一条随机毛巾进去。模型会适应，对吧？我认为你的模型的一个关键点是它们被训练成——它们被设计成通才，所以一个基础模型，你可以大量地适应它们。这是如何工作的？基本上，在45分钟的映射数据中，你可以泛化到。我们看到了一个从冰箱里取出饮料的例子。一个通用模型的心态是什么，然后你如何适应不同的任务？
Jason Ma [00:07:14]： 所以我们思考的方式是，对于机器人技术，我们需要构建一个非常通用、强大的基础模型，对吧？然后——因为如果你想想人类如何在物理世界中互动和行为，对吧，我们有非常强大的基础知识。我们可以轻松地完成很多任务。但如果你想成为任何给定任务的专家，就需要进行一定量的训练。我认为要训练一个像我们在这里构建的通用机器人，同样的原则必须适用。所以我们的方法是首先训练一个通用模型，在我们能找到的尽可能多的数据上进行训练。这就是为什么在我们的 Dyna-2 报告中，我们的模型以超过一百万小时的人类数据作为起点进行训练。然后有了这个强大的基础，我们发现我们可以通过非常少量的微调快速让机器人或模型完成许多不同的任务，只需告诉模型，“这是我希望它做的任务，这里只有很少的演示，”模型就能轻松完成你在办公室看到的一系列任务。是的。
一百万小时的数据：第一人称视频和机器人演示
Swyx [00:08:19]： 我们实际上有相当多的人从事数据工作，销售数据。什么是好数据？什么是坏数据？你想买什么？我认为这些都是开放性问题。就像，显然，我认为最重要的东西是人类执行任务的第一人称数据。在这个基本陈述上，你还会修改什么？
Jason Ma [00:08:42]: 所以我认为数据是当今机器人技术中最重要的事情，因为与语言模型不同，没有互联网，对吧？所以每一家构建模型、构建硬件的公司都必须考虑数据。因此，这里大致有几种不同的运作方式。一种是你自己可以收集大量数据，这也是我们正在做的。
Swyx [00:09:02]: 你这里有员工在做这件事。
Jason Ma [00:09:04]: 办公室里到处都是机器人，对吧？但如果你想想机器人基础模型需要多少数据，我认为任何单个公司自己能收集的数据量都远远不够，对吧？这有点像，你试图仅靠 Reddit 或仅靠 Facebook 来构建一个互联网。它们是很好的网站，有很多用户，但这还不够，对吧？所以当我们考虑数据时，必须有某种数据获取在发生，对吧？你购买数据，你查看已经存在的数据。然后有很多不同的层级，对吧？你提到了数据质量。我认为机器人技术中的数据质量是一个非平稳问题，因为对你的模型来说什么是高质量数据会随时间变化。比如，当你的模型什么都不知道时，当它是零时，任何数据都有用，对吧？你可以使用大量视频数据。在自我中心数据的情况下，我认为这实际上是预训练机器人的一种非常好的方式，因为人类数据如此多样。比如，它涵盖了你所能想象的所有身体活动。这给机器人、给模型提供了如此强大的先验，关于事物、关于世界如何围绕一个具身行动者——人类——演变。但人类数据的问题在于，除非你的机器人看起来完全像人类，否则人类动作和机器人动作之间会存在一些差距，对吧？所以今天仅仅通过训练人类数据，不太可能直接执行机器人动作。所以你仍然需要一些使用机器人自身数据的适应，对吧？但在机器人上收集的机器人自身数据会昂贵得多，也难收集得多。所以我们正在思考的配方是，如何利用我们今天拥有的最大数据源，比如自我中心数据，给模型一个强大的先验，覆盖物理操作所能涵盖的一切，然后将其与少量机器人数据结合，使机器人掌握我们感兴趣的任何任务。所以数据质量和在机器人技术中获取数据，我认为这是一个迷人的、多面的问题。但现实是，没有单一的制胜策略，比如，“哦，这是一种数据。我只收集那种，”
Jason Ma [00:11:25]: 这就能给你一个强大的基础模型。你真的需要思考，“这个人类数据覆盖了我需要的机器人认知的这一部分。机器人数据覆盖了机器人也需要的低级反射灵巧性，”并将它们放入一个模型中。我认为这才是最终能给出一个真正可适应、真正强大的模型的东西。是的。
数据合作与专门训练示例
Swyx [00:11:44]: 我会提示你，再次，为了那些想与你合作的听众。你想要什么数据供应商。这是你对数据的呼吁。什么——
Jason Ma [00:11:55]: 是的，不，这是个好问题。是的，所以在我们的 Dyna-2 博客末尾，我们实际上有一个电子邮件地址，叫 datapartnerships@dyna.co。所以如果你是一个数据供应商，拥有大量高质量的数据，无论是自我中心数据、机器人数据、视频数据，还是任何你认为可以帮助机器人的东西，请发送到那个邮箱。我们的团队会查看，然后我们会回复你。
Swyx [00:12:16]: 但在你们这个阶段，你们可能不会再购买现成的自我中心数据了，对吧？你们可能想要的是，“这是我需要的。你去——”
Vibhu [00:12:26]: 有没有哪个细分领域是缺失的？
Swyx [00:12:28]: 你需要一个 Scale AI，你需要一个 Mercor 来做这个。我明白了。定制数据——
Vibhu [00:12:32]: 那些不在机器人领域工作的人可能会想，“好吧，某个小众工厂。”就像……你展示了把管子放进去。关于那个你只能找到这么多数据，但很多那样的数据会帮到你吗？
Jason Ma [00:12:43]: 是的，不。如果你真的想搞定一个任务，拥有那个任务的数据肯定会帮到你很多，对吧？所以对我们来说，我们仍然认为，仅仅一百万小时的数据是不够的。这只是开始。就像，我们展示了第一个百万小时规模的模型，但我们需要更多，对吧？所以我们仍然在寻找大量原始的、多样化的数据，我们能获取的。但我们也在思考如何获取更多定制数据，要么内部收集，要么由我们的合作伙伴为非常具体的细分任务收集？因为我认为你仍然需要那个才能达到任何模型在物理世界中真正有用所需的卓越水平，对吧？这有点像人类，你知道。如果 Sean 或我，明天去 Rosewood Hotel 工作，我们没法按照他们想要的方式铺床，对吧？我们需要大量训练。所以那种数据，像特殊数据，就像 Mercor 今天为语言模型做的那样，我认为对机器人也会非常有价值。
Vibhu [00:13:42]: 所以酒店，给员工头上绑个 GoPro，然后。
Jason Ma [00:13:48]: 然后可能还有更多那样的。
Vibhu [00:13:49]: 有
合成数据、模拟与 Eureka 项目
Swyx [00:13:50]: 把自己放在他们的路上。是的。所以我们讨论的一件事是结束这次采访，非常有趣的是现在你基本上可以即时制造环境。你试过用前沿模型做这个吗？你的经验是什么？它们够好吗？
Vibhu [00:14:06]: 你在用任何世界模型机器人吗？比如，世界模型公司来生成这些并基于它们训练？
Jason Ma [00:14:13]: 所以，我认为生成合成环境、合成数据、用于机器人技术的仿真数据，这将成为下一个前沿领域之一，对吧？因为如今人们关注的是第一人称视角数据和机器人数据。这些数据在扩展，但我认为合成数据将成为一个新的扩展维度。所以回到你的问题，是的，我们一直在探索使用前沿模型来为我们生成合成环境，基于我们关心的数据和环境。而且令人惊讶的是，我认为现在这项技术已经发展到了一个非常值得深入研究的阶段。所以作为背景，在我的博士研究中，我主要专注于基于仿真的机器人训练。那时候，仿真技术还不成熟，但我们有一篇叫 Eureka 的论文，这是第一篇采用大语言模型的论文。当时用的是 GPT-4，研究如何自生成环境、生成奖励函数或强化学习，并在仿真中完成各种任务。最后，我想我们有一个非常棒的演示——机器人旋转铅笔，对吧？当时那真的很酷。但那种事情在当时仍然非常有限，因为那时候模型并没有真正具备良好的视觉能力，没有内在的 3D 理解能力，对吧？所以基本上它只是生成代码，并利用非常有限的文本反馈来尝试提出新的仿真环境。但如今，这些前沿模型的视觉能力简直令人难以置信。它们可以做真实到仿真的转换、做 CAD 建模、3D 重建等等。所以我认为现在正处于一个临界点，
Jason Ma [00:15:52]: 这项技术可以真正加速机器人技术的发展。对我们来说，我们将其视为加速内部进展的一种方式，对吧？因为我们在构建模型，我们在构建硬件。所以如果前沿模型能以这种方式给我们更多数据，比如为我们自己生成真正量身定制的数据，那对我们来说极其有用。我们一直在思考的另一件事是，与其使用这些模型来生成 3D 环境，我们也使用了自己的世界模型，就是我之前跟你提到的世界动作模型，因为这个模型不仅能生成动作，还能生成视频。我们——这个模型还能生成自己的训练数据。所以这就形成了一个自我实现的飞轮，我认为这也会非常强大。所以总的来说，我对这个方向感到非常兴奋，因为我认为即使我们已经扩展到了一百万小时的数据，我们正在部署大量机器人。这些机器人已经开始做非常酷的事情了。我们才刚刚开始，这只是冰山一角，未来还有更多。是的。
端侧推理、延迟与模型蒸馏
Vibhu [00:16:51]: 对于研究方面的听众，我们最近在播客中邀请了 Runway。他们的方向之一就是机器人世界模型。他们正在稍微向那个方向转型，所以……建议大家关注一下。关于你们自己构建模型，我有个问题是，你们在什么样的约束条件下运作？如果类比语言模型，你会看到 GPT-OSS 20B 非常适合普通 MacBook。然后有更大的模型适合单块 GPU。你们是在机器人端侧、云端还是混合模式下工作？这又如何影响你们的数据扩展规律？一百万小时很棒，但我们是直接扩大参数和数据规模吗？
Jason Ma [00:17:38]: 不，这是个很好的问题。所以我认为机器人与语言模型及其他应用真正不同之处在于，对于编程智能体、语言模型来说，有延迟也没关系，对吧？如今，每当我问 ChatGPT，它都要等几秒钟才会吐出内容。但对机器人来说，推理延迟必须非常短，对吧？机器人需要行动。就像，它不能拿着刀三秒钟什么都不做。那会把人吓坏的，对吧？
Vibhu [00:18:07]: 是啊，我们见过有人把真手放到刀下面。
Jason Ma [00:18:10]: 我们的模型挺聪明的，所以那没问题。但总的来说，如果你考虑非常动态的任务，比如，你想让机器人拿着，我不知道，一个网球拍然后颠球，对吧？这就是非常动态、实时反应的。你不能就那样。物理、重力不会等你，对吧？所以出于这个原因，机器人模型需要能够非常快地推理。而最快的方式就是在本地部署，比如在设备上，对吧？因为如果你调用一个模型——
Swyx [00:18:39]: 网络延迟。
Jason Ma [00:18:40]: 没有保证——
Vibhu [00:18:41]: 自动驾驶汽车。
Jason Ma [00:18:42]: 没有保证，对吧？所以出于这个原因，最终部署的模型必须具有合理的规模，能够在本地服务。但这并不意味着你最初训练的模型也必须很小，对吧？就像在语言模型中——
Vibhu [00:18:57]: 你可以蒸馏。
Jason Ma [00:18:58]: 人们做蒸馏，对吧？就像，让小模型变得非常聪明的最好方法就是做蒸馏，对吧？你训练最大的模型，然后蒸馏，对吧？所以我认为在机器人领域，我们正在朝这个方向走，但我认为这就是人们将会趋同的方向。是的。
Vibhu [00:19:14]: 那推理呢？你们有自己的推理栈，还是。很多都是架构层面的。你们引入了扩散之类的。我猜你们可以从某些东西上借鉴。有什么想分享的吗？
Jason Ma [00:19:26]: 所以无论部署什么模型，我们都构建自己的推理栈，因为——就像我说的，延迟非常重要。所以拥有整个栈对机器人来说极其重要，对吧？你想针对所运行的模型类型优化推理速度，这里面有很多工作要做。所以这就是我们所做的。
构建完整的机器人栈：传感器与执行器
Swyx [00:19:45]: 你们真的是全栈，就像——从执行器一直到工业设计 ID，这个缩写我之前还真不知道。显然还包括模型和数据。
Vibhu [00:19:57]: 我很好奇，这些是你们自己的执行器，还是。这其中有多少是你们自己的？比如，设计，不是像人形——执行器，你们在机器人栈上深入到什么程度？
Jason Ma [00:20:08]: 所以我们思考哪些需要自研、哪些可以外购的方式是：如果一个组件的输入输出非常明确，而且已经有极其优秀成熟的解决方案，那就没有自研的意义。比如在这台机器人上，你看到的那些激光雷达，对吧？那些黑色圆圈，就是帮助机器人探测障碍、导航周围环境的激光雷达。这是一项非常成熟的技术，人们已经用了几十年了。它用在自动驾驶汽车上。所以我们不需要从零开始造激光雷达，对吧？摄像头也是同样的道理。但对于任何我们认为对最终整个系统性能至关重要的东西，我们的愿景是能够自己掌握并自研。所以有一点，你提到了执行器。那是我们正在研发并且要自己掌握的东西。原因是，执行器的质量以及你如何设计它，真的决定了你能把机器人建模建得多好，对吧？执行器是驱动机器人的东西。要想在仿真中很好地为你的机器人建模，或者做任何形式的建模，你需要选择非常好的、真正易于建模的执行器。所以这才是我们最终关心的。所以我们要自己掌握它。机器人的比例也是同样的道理。这台机器人的比例，我们是参照真人来测量的。我们为什么这么做？因为我们在用人类数据进行预训练。
Swyx [00:21:36]: 哦，是的。
Jason Ma [00:21:36]: 最好的迁移，对吧？所以硬件方面有很多这类决策，都和这个密切相关。因为最终，是硬件承载智能。智能是极其重要的东西。我们要确保硬件为它服务。
Swyx [00:21:53]: 我只想强调一下，我不知道这跟你是否相关，但我经历过的最有意思的机器人讨论之一，是有人对执行器、特别是磁体感到非常焦虑，因为据说美国不生产磁体。
制造业、稀土磁体与全球供应链
Jason Ma [00:22:06]: 对，我们不生产。
Swyx [00:22:07]: 而且只有两个国家生产磁体。
Jason Ma [00:22:09]: 稀土材料。
Swyx [00:22:10]: 稀土，对吧？我不知道那是什么。那化学——那材料是什么？我不知道那东西是什么，但——所以是的，如果有人对此感兴趣，据说这是我们面临的一个瓶颈。
Jason Ma [00:22:20]: 不，不是瓶颈。
Swyx [00:22:21]: 它就是个瓶颈。那我们该怎么办？
Jason Ma [00:22:23]: 这是个好问题，对吧？我觉得，关于把制造业带回美国有很多令人兴奋的讨论，但尤其是对于机器人来说，这实际上比看起来要难得多。我想说，即使是现在，美国也没有一家公司真正在美国从头开始制造所有东西，对吧？就像，即使他们说他们组装机器人，他们在美国做他们实际在做的事情，他们仍然从世界其他地方采购原材料。我认为这是作为机器人制造者真正需要意识到的事情，对吧？就像，我觉得，作为一家全栈机器人公司，我们意识到供应链有多长，整个问题有多长。这实际上极其困难。而且我认为如今很多讨论都集中在机器人基础模型数据上，但我认为硬件以及制造好硬件有多难这一点被严重低估了。但我认为这将极其重要。
Swyx [00:23:27]: 这是一个平台，对吧？
为什么 Dyna 协同设计其硬件和模型
Jason Ma [00:23:29]: 平台，是的。
Swyx [00:23:30]: 有些公司选择成为，我们称之为无平台的。他们只做模型，他们会说：“我们在任何平台上部署。”我们在 Optimus 上部署。
Vibhu [00:23:37]: 现成的机器人。
Swyx [00:23:38]: 所以，这是一个选择，对吧？就像，显然，你拥有 everything，所以你可以这样做。你认为自己会在美国建造更多，还是会建立自己的全球供应链？可能的方向是什么？
Jason Ma [00:23:52]: 所以我们目前正在探索许多不同的选项，对吧？因为有了全球供应链，就会有一些地缘政治的事情，对吧？
Swyx [00:24:02]: 运输。
Jason Ma [00:24:02]: 运输。还有运输延误之类的所有事情。
Vibhu [00:24:04]: 字面意义上的机器人船只。
Jason Ma [00:24:06]: 而在美国，从零到一需要一些时间，对吧？所以我们正在尝试思考一种解决方案，既能让我们在美国建造更多，又能利用全球供应链，对吧？但我确实认为，回到你之前关于一些公司选择只构建模型的问题，我们构建一切，我认为把这件事做对非常重要。我觉得对于机器人技术来说，困难的事情是。就像构建整个系统。构建整个系统需要哪些必要的东西？就像，之前我在 DeepMind，我在 NVIDIA，主要只是构建模型，我看到了当你无法控制硬件、无法优化它时系统的上限，对吧？因为如果你考虑机器人的价值创造，最终机器人是为了提供服务来解决一些物理任务。所以如果你想解决物理任务，你希望能够优化一切，这很重要。
半人形机器人：轮子、躯干运动和灵巧性
Vibhu [00:25:02]: 我们有机器人了。你得告诉我们设计。你自己的定制平台。你叫这个什么？
Jason Ma [00:25:11]: 我们叫它什么？
Vibhu [00:25:12]: 是的，所以它不是人形。它非常流畅，但那个旋转臂是什么？
Jason Ma [00:25:16]: 是的，所以我们通常把它看作一种半人形机器人。基本上，上半身是人形的。当然，它有肩膀，有手臂。它的腰部还有四个自由度。所以你基本上可以做出人类能做的所有上半身动作。但它是半人形，因为下半身是轮子。好的，那我们为什么选择轮子呢？因为我认为这里有一个区别。存在最优实用性与性能之间的权衡。我认为用腿的话，能耗会高得多。会不稳定得多。安全性将极难保证。所以目前，对于足式机器人，实际上无法保证机器人始终能保持直立和平衡。我相信你们见过很多那些机器人跳舞的视频。就像机器人跳舞那种。
Swyx [00:26:08]: 见过跳舞，是的。它们都很容易摔倒。
Vibhu [00:26:10]: 不，但你也看到过那些一看就不是量产版的演示，你可以把机器人围起来，推倒它，它表现得很好。但那个机器人只是擅长平衡，对吧？就像——有一个。
Swyx [00:26:21]: 我觉得你们更有趣的创新是。我们这里有一个原型机，就是后面的 Mewtwo。
Jason Ma [00:26:29]: 你可以这么叫它。
Swyx [00:26:30]: 这个就像是一个上下轴，而你们选择转向类似这样的东西，它能够倾斜。我们接下来会展示洗衣房的演示，你必须向机器倾斜身体。对吧？那是另一个自由度，我甚至找不到词来形容它。它不是俯仰，也不是偏航。它是别的东西。
Jason Ma [00:26:47]: 是的，我们是怎么考虑这个问题的呢？就像。其实，它非常常用于锻炼。比如，我觉得有时候，几年前我锻炼的时候，不小心拉伤了肌肉。对吧？我相信你们也有过这种经历，对吧？然后接下来几天你就是动不了，或者你睡觉姿势不对拉伤了，脖子很僵硬。我们都经历过。然后每当你经历这些时，你就会意识到，哇，我们在日常生活中使用了那么多肌肉、那么多自由度，却习以为常。但当它失灵时，你去做一些你觉得很自然的任务就会变得非常别扭，对吧？所以这也是我们设计机器人时的思路。当你有一个——这种设计，就是纯粹的升降机构，只能上下移动，我们意识到很多人类躯干运动，比如我们在日常体力活动中大量使用腰部和背部，对吧？即使我想拿这个瓶子，我也不只是移动手臂。如果我必须刻意去想固定我的上半身，那对我来说其实非常奇怪。我总是会这样做，对吧？所以人类移动身体有很多潜意识的方式，我认为如果机器人有相应的自由度，这些方式同样有用。如果你再进一步想，好吧，我们想从人类数据中学习。比如，人类一直在移动他们的躯干。你希望能够把这些数据输入模型来控制机器人。但如果你的形态不允许这样做，那么迁移效果就会变差，机器人就会变得不那么灵巧，而且更加别扭。
将人类预训练迁移到新的机器人硬件
Vibhu [00:28:22]：这方面的数据标注环节是怎样的？就像，我——你也见过那些人。这是后训练微调的最后一步，实际上就是花一小时用遥操作或远程控制机器人来映射动作吗？还是说其中一部分可以泛化过去？
Jason Ma [00:28:41]：你说的标注是指？
Vibhu [00:28:43]：比如，把你已有的预测状态的模型映射到你的特定硬件上。
Jason Ma [00:28:50]：哦，是的。它泛化得非常好。所以我在新机器人上给你展示的所有演示——因为新机器人，我们不久前才把它准备好。所以跟给你展示的那些固定机械臂相比，我们确实没有太多数据，那些机械臂的数据要多得多，对吧？但对于新机器人，在我们某些预训练模型中，模型在预训练时并没有见过它。它能够非常快地学会你看到的那个任务。我把这很大程度上归功于，甚至在硬件准备好之前，我们就已经决定要在人类数据上做预训练，因为我们知道总有一天我们的机器人会像人类一样。你可以在硬件准备期间就在训练方面先行一步。我觉得现在我们看到迁移确实存在，而且确实非常有帮助。
评估新技能并从真实世界反馈中学习
Vibhu [00:29:35]：谈谈这方面的评估环节。你可以有预测，可以让它做事情，然后我们时不时会看到它失误。你也会在非常小众的事情上测试。比如装药瓶。这个过程要花多长时间？你如何看待在新任务上实际部署、评估、迭代这一方面？那是什么样的？
Jason Ma [00:29:56]：是的，所以如果我们想学习一个新任务，我们基本上会做一点机器人数据采集。然后模型，这些——
Swyx [00:30:04]：一点是多少？
Jason Ma [00:30:05]：是的，大概几个小时。是的，我们——在某些任务上，只要几十分钟，对吧？是的。然后——
Swyx [00:30:11]：切菜那个是45分钟。
Vibhu [00:30:13]：开冰箱那个是——
Swyx [00:30:14]：那是一个面试——那像是你们某个工程师的入职任务。
Jason Ma [00:30:18]：所以，。
Vibhu [00:30:20]：如果你想在这里工作，这挺有趣的，你知道的。找个任务，让机器人去做。
Jason Ma [00:30:24]：给我提个新任务，我会来办公室，采集一些数据，训练一个模型，看看会怎样。
Vibhu [00:30:29]：系鞋带。
Jason Ma [00:30:31]：真的，就是系鞋带。是的，那会很酷。但是的。所以，你知道的。采集少量数据，训练一个模型，然后我们就直接在真实世界里部署这个模型。然后我们看性能，然后——
Vibhu [00:30:41]：补充一下，采集意味着你——你有一个真人实际在操作——
Jason Ma [00:30:46]：操作。
Vibhu [00:30:48]：做这个任务一会儿。然后你训练？它做得还行，你再改进。你怎么衡量？
Jason Ma [00:30:56]: 所以当你训练模型时，有一些指标可以看，对吧？就像训练模型一样，它收敛得很好。然后，对于今天的机器人技术，我们只是在真实世界中运行模型，对吧，在收集数据的同一设置上看看模型表现如何。有时模型开箱即用就很好，对吧？你真的不需要做太多。但当模型可能达到百分之七十、八十时，你就能看到模型的行为。你找出它不擅长的地方。然后你可以收集更多数据，再迭代，对吧？我认为这是机器人版的从人类反馈中进行强化学习，对吧？机器人展开行动。你可以给它打分，好、坏、S- 有点好。然后这些数据，机器人自己的经验可以用来训练模型。你也可以自己收集更多数据来训练模型，对吧？最终，我们的目标是，这个机器人将成为我们的平台。任何人都应该能在它上面训练任务。
长时程任务与通用机器人技术的瓶颈
Vibhu [00:31:59]: 我想得到一点预测和时间线，看看这会走向何方。现在，任务还有些简单，比如——取出洗衣。是条毛巾。你不能压皱它。切一些食物。还有像，好吧，布置这个拍摄工作室，对吧？移动东西，搬来桌子，设置灯光。我想——
Swyx [00:32:21]: 管理我的数据中心。还有，给另一个机器人充电。
Vibhu [00:32:29]: 我们什么时候能看到工厂，或者我们需要扩大什么？是模型吗？是一切吗？看起来你的硬件已经为此准备好了，但我们什么时候能看到它发展到这样一个点，我可以从只是切一个东西变成，“好吧，这是食谱。”
Jason Ma [00:32:49]: 我想说，要达到真正通用的机器人，基本上是一个能做任何事的机器人或模型，就像——
Vibhu [00:32:58]: 不是那个。就像，好吧，为了在技术层面上保持一定的接地气，就像——我们什么时候开始看到我们推动那个反馈，对吧？所以——
Jason Ma [00:33:06]: 我明白了。
Vibhu [00:33:06]: 而不是非常简单的切割——也许是一个五到十分钟的序列，对吧？现在评估步骤可以在更多点中断。而不是只装一个药瓶——十个不同的药片全在一个序列中，对吧？是什么限制了我们？我们在推动什么？
Jason Ma [00:33:20]: 是的，我想。是的，我想有几件事。一是你看到的洗衣演示，是的，完成整个循环要一个小时，对吧？所以机器人能完成一项完整工作的最长持续时间已经在小时范围内了。对吧？但要能对任何任务都做到这一点，我认为瓶颈又回到了数据和硬件，对吧？所以对于一些任务，例如布置空间，你可能需要不止一个平行夹爪，对吧？你可能需要更灵巧的东西，像一只手，像人类的手，对吧？但如果你想在手上训练模型，那么你就受限于硬件的稳定性。就像，手——今天，最好的手，灵巧的手仍然不够耐用。它们很快过热，对吧？所以这成了一个瓶颈，对吧？就像你——我们——你几乎得放一个冰袋——
Swyx [00:34:15]: 冰。来冷却。
Jason Ma [00:34:16]: 人类。
Vibhu [00:34:16]: 我们不只是做自动研究，还要把我们已有的模型做得更好。我们有硬件限制。
Jason Ma [00:34:20]: 是的，所以硬件限制是个大问题。但如果硬件受限，那就会拖慢一切，对吧？因为要知道你在任何任务上是否取得了进展，最终都必须在硬件上进行评估，对吧？所以如果评估不能非常即时、非常快速，那也会限制你的研究进展，对吧？因为那样我们怎么收集正确的数据呢，对吧？我觉得，我们怎么收集正确的数据来完成极其复杂的任务，比如搭建这个工作室，对吧？因为你可以想象，就像今天，大多数数据都是基于视觉的，对吧？比如视频流，还有一些对手部动作的编码，也就是机器人的关节。但人类有更多的传感器。我们能听到东西。我们能感觉到东西。
Swyx [00:35:05]: 嗅觉。
Jason Ma [00:35:06]: 是的，你能闻到东西，对吧？所以我们潜意识地利用所有这些来帮助我们在操作物理世界时表现得如此出色。但今天如果我们完全没有捕捉这些，那么即使我们扩展到数百万小时，你可能也只是缺失了任务的关键维度，所以你永远无法解决这个任务，对吧？所以我认为这些就是我所认为的拖慢时间线的因素。但对于你今天就能以高保真度收集数据的任务或工作流程，我并不一定认为存在根本性的瓶颈，对吧？就像我们这周向公众展示的那样。我们有一个物理智能体可以完成整个洗衣工作流程，对吧，就像人类一样，对吧？因为对于那个任务，我们并不真的需要，哦，你实际上需要比平行夹爪更多的东西。你实际上需要一些今天还不存在的传感模态，对吧？所以我确实认为，要拥有一个更加通用的东西，最大的瓶颈仍然是硬件和数据。
真实世界部署：Best Western 和鼎泰丰
Swyx [00:36:06]: 我想借这个机会谈谈——让你夸夸你的客户和合作伙伴。你有一些已公布的关系。我们可以从 Best Western 开始，然后也许是你引以为豪的其他一些。很酷的故事，之类的。
Jason Ma [00:36:20]: 我们在网站上有部署博客文章，里面有更详细的介绍。我真的推荐看那个视频，因为我觉得那个视频是——
Swyx [00:36:29]: 哪一个？Best Western 那个吗？
Jason Ma [00:36:30]: 不，我们有一个视频涵盖了我们正在合作的所有客户。那是个非常好的视频。它展示了我们在做什么。是的，我觉得很棒。但没错，我们有客户，Best Western。那是在酒店领域。我们为他们折叠很多洗衣毛巾。每家酒店都需要，每个健身房都需要，每个健身中心都需要。
Swyx [00:36:51]: 目前的部署情况如何？怎么——比如，我可以去哪里——我该去哪个 Best Western 才能看到它？
Jason Ma [00:36:56]: 所以如果你想去某个地方，我其实推荐去我们的另一个部署地点，鼎泰丰。你们去过——
Vibhu [00:37:04]: 非常薄的皮。
Swyx [00:37:05]: 我们应该在那里拍摄的。
Jason Ma [00:37:09]: 刚在那里拍摄了。
Vibhu [00:37:10]: 那个 B-roll。
Jason Ma [00:37:11]: 但如果你去鼎泰丰或其他稍微高档一点的餐厅，桌上是有餐巾纸的，对吧？所以如今我们的机器人为美国许多不同地点、许多不同的鼎泰丰门店折叠数千张餐巾纸。所以这实际上是我们规模最大的客户，对吧？所以我想在这里做一个区分。如今，有很多机器人公司在谈论部署，谈论试点。但真正困难的不是把你的机器人放到一个地点，或者做一个试点。真正困难的是，客户相信或验证你的机器人创造了足够的价值，以至于他们想在你的许多门店部署你的机器人。所以这就是我们在鼎泰丰身上发生的情况，据我所知，其他做类似通用机器人的公司还没有真正发生过这种情况。所以在鼎泰丰，我们的机器人每天折叠数千张餐巾纸。它的——质量标准极高，因为他们想要的是，比如，第二次折叠或餐巾纸的接缝只比——我甚至不知道你们怎么称呼它——那个口袋低几厘米，这样你就能把筷子插进去。所以这实际上是一个非常精细、高精度的任务。我可以给你看看。
Vibhu [00:38:26]: 在某种程度上，这正是机器人所擅长的，对吧？人类不是最一致的——尤其是在小细节上，而机器人多少可以做到完美。有意思的是，你拿这个例子来说明通用机器人，而在某种程度上，我认为人们会假设——你可以有一个专用机器人，能完美地、精确到毫米地折叠餐巾纸，而不是像这样的东西，但是。
Jason Ma [00:38:53]: 是的，我确信，也许你可以，对吧？但操作可变形物体的难点在于，对吧，比如餐巾纸、毛巾，一切都是——可变的。存在无限——无限多种可能的构型。所以这对专用机器人来说真的很难，对吧？而我们发现，通过在机器人中开发一个通用模型，并让它适应这些用例，你实际上可以更快地达到生产质量。而真正好的一点是，既然鼎泰丰已经扩大了规模，与我们签了一份大得多的合同，他们不仅想让我们的机器人折叠餐巾纸。现在他们想让我们的机器人切割。这就是为什么我们有那个——例子，把食物切到——
Swyx [00:39:31]: 那实际上是第二个用例吗？
Jason Ma [00:39:33]: 那是他们正在考虑的用例之一。鼎泰丰每天需要切很多蔬菜。
Swyx [00:39:38]: 他们需要做小笼包。
Jason Ma [00:39:39]: 没错。到捏褶。那是最终boss。那是——
Vibhu [00:39:41]: 那是最后一个。
Swyx [00:39:43]: 我觉得你可以。我觉得你有这个灵巧度和精度来做这件事。
Vibhu [00:39:46]: 你有一个小机器人。
Swyx [00:39:47]: 但是不，别把小笼包弄破了。
Vibhu [00:39:50]: 显而易见的好处是你可以让它们适应更多任务。
通用机器人技术、速度与规模化下的一致性
Vibhu [00:39:54]: 我觉得你真正提到的另一点是速度，对吧？要制作带有精确层数的定制餐巾折叠，不管怎样，你必须制造机器。你不能直接在亚马逊上买这个。但这个可以做得相当快，对吧？
Jason Ma [00:40:07]: 是的，这个可以做得非常快。而且现在它实际上已经达到人类水平了。而且这个机器人不会累，不需要你知道的。你可以。我真的很喜欢你说的那个一致性，对吧？比如，鼎泰丰的一个问题是，他们在洛杉矶的分店、纽约的分店、西雅图的分店，折叠餐巾的方式略有不同，但从他们的角度来看，他们想要一致性。而这正是这些模型擅长的，因为模型只是一组权重。你可以直接把权重放到不同机器人上，跨越不同——
Vibhu [00:40:43]: 你也可以通过 OTA 更新它们。
Jason Ma [00:40:45]: 是的，你可以一次性更新所有机器人。只要。一旦它成功了，我觉得这真的，就像——不可思议。
Vibhu [00:40:52]: 最终 Boss 是芝士蛋糕工厂。如果那里的故事是，他们从零开始。一切都非常一致，精确到克。每种酱料都是现做的。就像，无论你去世界上的哪个地方，你都会吃到完全相同的东西。如果你不知道，你就不知道。但那就是最终目标。
机器人学的苦涩教训：扩展正确的数据
Swyx [00:41:07]: 我想到的术语有点像机器人学的苦涩教训，对吧？你，不是用专门的机器人，那涉及大量工业工程，而是构建一个通用平台，可以进行最后一英里的微调，并且——
Vibhu [00:41:18]: 没错。
Swyx [00:41:19]: 并完成所有这些事情。
Vibhu [00:41:20]: 在你的之外提供专家附加组件。什么是更苦涩的机器人学教训？
Jason Ma [00:41:25]: 是的，我认为机器人学有几个苦涩教训。一个是机器人学将像机器学习已经解决的其他任何领域一样扩展，对吧？那么这意味着什么？这意味着拥有尽可能多的数据。但在机器人学中，更难的一件事是什么是正确的数据，这比其他领域更难弄清楚，对吧？语言是文本。在视频游戏中，只是视频游戏数据。但对于机器人学，你选择什么传感器决定了你拥有什么样的数据，对吧？但如果你有正确的传感器组合，并且只是扩展这些数据，我认为你会得到可预测的模型性能回报。所以从这个意义上说，机器人学并没有那么不同。所以这就是苦涩教训。作为推论，机器人学中有很多研究提出了非常具体的先验。比如，我们需要让机器人按原样看到物体，画出一些框。这会给机器人更好的感知，对吧？但我认为这里的苦涩教训是，保持算法更简单，并扩展正确类型的数据。然后泛化、更好的行为就会涌现。所以这并没有那么不同。第二个。我认为这是主要的苦涩教训，那就是归根结底，扩展会起作用，但在机器人学中，如何扩展以及如何扩展要困难得多，因为没有互联网。你必须想出你的硬件，想出传感器，把所有这些都做对，然后扩展。然后我认为，。
人形机器人、实用迭代与通往通用性之路
Vibhu [00:42:53]：有一种观点认为，这个世界就是为人类而造的。所以它应该是一个人，对吧？无论硬件问题有多难，想想十年、二十年、一百年、两百年后，我们能不能造出一个真正高效的人？但你必须对现在所拥有的东西保持务实，对吧？
Jason Ma [00:43:12]：我的思考方式是，是的，最终机器人应该如此。如果我们想造一个通用机器人，对吧，就像一台能适应尽可能多使用场景的机器，我认为人形形态会是最好的，因为这就是我们一直以来所做的，已经做了很久了，对吧？但我认为真正造出人形机器人的最佳方式是采取迭代的方法。因为机器人技术太难了，整个问题、整个技术栈都太长了，你很难先验地知道什么才是正确的决策，对吧？而且因为硬件决策要昂贵得多、代价大得多，仅仅是因为硬件迭代慢得多，你实际上应该采取渐进式迭代的方法，而不是一路做到最终形态。因为你造出来的东西很可能撑不住。它不够好。所以你最终还是会把它推翻重来，你知道吧。比如，公开新闻里 Optimus 已经经历了很多次迭代，他们不得不推翻自己的设计，对吧？我认为，通过用半人形的形态进行迭代，并真正把它们交付给真实客户，或者让模型真正部署出去，你就能获得那种反馈回路——如果你只是试图造一个仓库人形机器人、花上五到十年去造它，你是得不到这种反馈的。我认为迭代的方法实际上会让我们更快地接近最终的机器人。
Vibhu [00:44:33]：我要说的是，对于那些在听而不是在看的人，这可能是我们见过的最平滑的机器人。就像——
连续动作空间与上下文的重要性
Vibhu [00:44:38]：……你见过的每个人形机器人都很僵硬，甚至连人类走路都没有这东西这么平滑。
Swyx [00:44:43]：因为，是的，这个模型。可以同时移动每一个电机。
Vibhu [00:44:48]：在超过两个队列中，是的。
Jason Ma [00:44:50]：是的，这实际上是一个非常难的问题，因为如果你只考虑模型，它输出的是动作。有动作维度，对吧？维度越大，模型就越难拟合数据。但在这里，动作空间相当大，而我们做得非常好，确保模型拟合良好，并给你一个平滑的——
Swyx [00:45:10]：你能给出动作空间的数量级范围吗，还是说——
Jason Ma [00:45:14]：是的，所以它大约在一百个动作维度的量级。
Swyx [00:45:19]：是的，而且这些都是连——连续的，对吧？
Jason Ma [00:45:21]：连续的，对。所以这个模型基本上是以非常高的频率进行预测，比如几十维，至少是五十维的向量，每秒十到二十次，以获得那种连续的运动。
Swyx [00:45:34]：而且可能预测未来一到两秒，所以那又是另外一百帧之类的。
Jason Ma [00:45:39]：当然。
Vibhu [00:45:40]: 这里有一段历史，我想，类似于之前状态的上下文。
Jason Ma [00:45:45]: 所以上下文在机器人技术中非常重要，对吧？因为否则，如果你只是根据当前的观察做出决策，有时真的很难判断下一步该做什么，对吧？例如，如果你想想打开微波炉，比如在中间阶段，就不清楚你是在——
Vibhu [00:46:01]: 关闭
Jason Ma [00:46:01]: ……关闭还是试图打开它，对吧？所以上下文也非常重要。
Swyx [00:46:05]: 我有冰箱演示的截图，里面有智能体规划和工具持有等等。所以我们可以给听众展示那个。
Vibhu [00:46:13]: 我觉得那是一个有趣的方面。在模型——
智能体框架与规划物理工作流
Vibhu [00:46:16]: ……你如何把它包装成智能体框架？比如，什么是——
Swyx [00:46:22]: Claude Code
Vibhu [00:46:22]: ……Claude Code 部署？Claude Code UI。你有很多很酷的 UI，但把模型输出包装成最终产物需要什么？这是每个用例定制的吗？还是你有自己的 SDK？
Jason Ma [00:46:37]: So, eventually we will have our own SDK, but the way we think about is we want a general harness layer for robotics foundation model. Today, that is our own model, right? The way I think about is for any Real task, long task in the physical world, there is a lot of a high-level decision-making you have to do, right? It’s not just like robot, only reasoning about the physical world in the action, continuous trajectories, right? Because that’s a very low level, the thing you’re actually executing in the physical world, but that’s not the intent. But like if. When we are doing decision-making, we think about steps of a recipe. We think about, oh I finished this I need to do that. While I’m waiting for this part to finish, I need to go somewhere else to do something else. There’s a lot of high-level cognition, decision-making that’s happening. And I think for robots to handle even, the laundry task we are showing you, it has to have that capability. Because, it needs to reason that okay, the washer is running, so I should go do something else while the washer’s finishing. But now the washer is done, I should take, I should take the towels from the washer and put it in dryer immediately, right? Because if not, then that becomes a bottleneck in the whole workflow, right? So there is a lot of reasoning that needs to happen for robotics. And I think in theory, you could just, try to learn that with a low-level model that’s outputting actions, but it’ll be extremely inefficient. So that is why having a hierarchical system, like putting a harness, like an agentic system around our world action model is what allow the model to compose different capabilities, different skills to solve a much longer horizon task. It’s very much like in language model, right? Like two years ago, three years ago, the model was only good at autocomplete. Like, humans have to tap to get the model to keep spitting out code. But today, just an agentic system just carries the end-to-end task. And that’s. I, and I think that’s important because I think today in robotics, people are still thinking about autonomy at the very task level like one minute, thirty-second task. But really, the value is about tasks or workflows that go on unsupervised for hours. And that’s what we’re building towards. And that’s why I think thinking about. The robotics problem, not just as a modeling problem, but rather as a system problem, you need good agent, good harness engineer, good model, good hardware, everything. It’s like how we think general-purpose robots ought to be solved.
How Coding Agents Accelerate Robotics Research
Vibhu [00:49:07]: Do you guys see benefits from language model coding tools getting better? So new Opus 5.5, new Astra. Do you have language models in your agent harness? How does AGI being developed in language model space affect you guys?
Jason Ma [00:49:24]: No. Yeah, no, absolutely. Like, it affects us very deeply in many ways. One is that we are extremely AI-native company, right? Like, coding agents, all of that is a very fundamental part of our work, and we’re very welcoming of that. Like, whenever there’s a new model, we’re the first one to test it, right? Like, we being. Like, when GPT-6 came out, we had a company-wide hackathon the same week, and the thing that our engineers built was incredible. And many of them are— Many of the features we built is already in main, in production, right? So we really like using coding agents to accelerate our work.
Swyx [00:50:00]: Just for the people interested, anything surprising in GPT-6 that you found?
Jason Ma [00:50:05]: … it’s about the ability for it to construct virtual environments, right? Turns dissemination. We talked that twenty minutes ago. I think that’s really exciting.
Vibhu [00:50:17]: It’s interesting. There were so many CAD, Zillow to 3D-ish.
Swyx [00:50:21]: He lost the hackathon to the CAD, -
Vibhu [00:50:24]: I won the. I did the CAD bullshit. Other way.
Swyx [00:50:27]: No. Oh.
Vibhu [00:50:28]: That was. I won a GPT hackathon just for fun. I was like, “I know nothing CAD.” Might as well play around with it ‘cause every demo is doing it. I’m like, “It’s gonna be garbage.” And I’m like, “Well, it’s kinda grounded, it’s kinda good.” But it’s just hackathon stuff.
Deployment Milestones and Competing Robotics Strategies
Vibhu [00:50:45]:.
Swyx [00:50:45]: Cool. I wa— I was gonna round out, some of the use cases and then go into a little bit of company culture and your personal background.
Vibhu [00:50:52]: I have two technical questions. One is, are there any goals you wanna set for yourself, like six months, one year, two year timeline that you see robots should be able to do, fill in the blank, that you’re kinda working towards?
Jason Ma [00:51:09]: Yeah, in the six months to one year frame, our goal is definitely scaling up our robots and our model and truly getting them to deploy-
Vibhu [00:51:18]: Like a task.
Jason Ma [00:51:18]: … completely different.
Vibhu [00:51:19]: Like, right now it’s cutting or opening a fridge. Is there. Like, do you set yourself to by this timeline, we should, to stay on track, be able to do whatever?
Jason Ma [00:51:29]: I think, in terms of deployments, we’re exploring many different industries. There isn’t a particular task we think we have to nail, right? Because our goal is to build a general model, a general platform, and we think of each different task as validation of our platform as a way, as a wedge for us to figure out how to build everything better. So today, we are doing a lot of that in laundry, in restaurants. We have already deployed tens of robots, but our goal next year is overall just deploying hundreds of robots.
Vibhu [00:52:02]: My part two on the last technical question is, how do you see the rest of the industry? So fill in for people, what other approaches are people taking to world models? Why are they wrong? What is different but good about their approaches as well? Just what is the landscape of robotic world models in this space and why— how have you come to your current?
Jason Ma [00:52:25]: No, that’s a great question. So I think robotics is the most exciting space today, and there are just so many, amazing companies that I truly respect. They’ve been doing great frontier work like us, and it’s very exciting. And I think what we are seeing today is that there’s still many different approaches to robotics. Like, we believe that hardware needs to be built in-house. We need to own the whole, chain. We believe that scaling human data is extremely important. But there are companies that’s betting on just scaling robots’ data or scaling some sort of intermediate data collection devices, right? All of them are in play, and I think it’s different approaches. We’ll just see what happens. I think right now, it’s still a bit early to tell, but we feel pretty good about the way we’re building things just because we as a company, culture-wise, mission-wise, we’re not here to just build a model. We’re here to truly get robots deployed. So we deploy as much as possible, work on the hard problems. So we identify problems much earlier on. So then I think that really helps us identify what the true bottlenecks are and then solve them. And I think for folks, for people who are only working on one part of the problem, it’s kind of like fog of war. You don’t really see the whole picture, and you might be building something that’s extremely cool technologically, but may not be what people need or want at the end, right? I think there’s a whole graveyard of robotics company, and I think all of them had very shiny, very cool robots, but just figuring out what people actually want is actually. It’s very easy to say “Build something people want.” everyone says that but it’s actually really hard to execute a robotics company.
World Action Models vs. Vision-Language-Action Models
Vibhu [00:54:07]: On the technical side, you have your world action model. Is that standard across industry? Is there other directions people are taking?
Jason Ma [00:54:15]: Yeah, I would say that’s also not standard. So we’re building world action model on top of world model. So there is many companies building world model. You mentioned Runway. They’re also getting to adapt-
Vibhu [00:54:26]: Video world models.
Jason Ma [00:54:27]: There are also companies building a vision language action model.
Vibhu [00:54:31]: VLA.
Jason Ma [00:54:31]: So that’s like taking vision language models and adapting them to robotics. So I think there’s many different ways to go about it. But I think at the end of the day what we call the models is less important than what we believe the model needs to be able to do at a first principle level. So I wanna explain that a bit. I think for robotics, the most important thing is that you need to be able to predict the future. Right. Like robotics, any physical system is fundamentally about based on the information you have at the present moment and before, what should you do next? So it’s really about predicting what comes next. So predicting robot actions is like predicting what the robot should do next. But if you think about it, robot is just a part of the world, right? Robot influences the world, but the world also influences how the robot should behave in that environment. So if you think about it this way, then the maximal, the most first principle thing you can do is just predict as much of the world that you can possibly predict, right? So that’s why we believe predicting the future is extremely important. And today, the instantiation is world action model. And VLA only predicts robot actions or some more abstract representation of the world. But whenever you’re predicting abstract representation of the world, you’re encoding your own bias into what’s important to predict. And the bigger lesson tells you, let’s remove human biases. Let’s just take the most raw representation, the camera inputs, and just predict all of that right? So that’s how I think about, modeling for robotics today.
Swyx [00:56:12]: So just to press you a little bit on this you’re, basically you’re saying your approach is better than the VLA, right? Because you’re emphasizing prediction. I fully buy that. I— Like, you’ve sold me on it. If you were wrong, what is the most likely number two-
Beyond Vision: Tactile, Audio, and Infrared Sensing
Swyx [00:56:26]: Someone else is doing?
Vibhu [00:56:27]: Interesting question.
Jason Ma [00:56:28]: So yeah, there’s a caveat in what I’ve said before, and I think that’s where I could be wrong, right? I said that you need to predict the world as much as possible, right? But what that doesn’t say is that does your sensor have everything about the world that you need to predict? I think I touched on this a little bit, right? Like, if you’re training a world model that’s purely based on videos, I think it will be a very powerful world model, but it may not be a sufficiently rich enough world model because you’re missing critical aspects of the world, like sound, like touch, right? So I think where we could be wrong is like, okay, I have the best world model on vision-based world model, but tomorrow someone else comes out with a vision plus tactile world model that’s just like a hundred X more data efficient just because, vision is a very high information or a highly redundant, input because, every other pixel, they don’t change that much. You can see— you can understand the world without perfect vision. But tactile, other modality might be much denser in information, right? So maybe having that predicting that would just allow you to use much less vision. So you can get to the same performance with much less compute, with much less data, right? But-
Swyx [00:57:51]: I think you will be able to adapt very easily.
Jason Ma [00:57:53]: No, exactly.
Vibhu [00:57:53]: There’s also a level of how much data.
Jason Ma [00:57:56]: Right. So the reason why I bring this up is because I think if a vision-tactile world model or vision-tactile-audio, whatever world model, is the final thing that solves robotics, then I think robotics companies will be able to do that better than video generation companies that’s trying to pivot to robotics. The reason is to understand sensing is actually very complicated. Like, we’ve been building that since the company started, so we know the bottleneck. We know how to combine them. But for— if you’re just trying to adapt a video model to robotics action, then if we were wrong, if, video model is not enough, then you don’t really have the know-how to get tactile to work very well. But we have that.
Swyx [00:58:39]: This is a side question, but I think it’s a quick one. Heat seems very important. Is infrared just another color to you, or is that a.
Jason Ma [00:58:47]: Yeah, it could be another-
Swyx [00:58:48]: Just another color.
Jason Ma [00:58:48]: It could be another color, another input to the model. Could be used in cooking scenario, actually. Like, I know companies that’s using infrared to know how cooked food is. Because that’s really hard to tell from RGB camera, right?
Vibhu [00:59:01]: My very naive pushback on your last point is maybe we don’t need to understand hardware, cloud code, or Codex can just, vibe code it in. There’s a lot you can do without understanding, but of course-
Swyx [00:59:15]: It’s just not in the distribution.
Jason Ma’s Journey: AlphaGo, Penn, NVIDIA, DeepMind, and Dyna
Swyx [00:59:16]: So I wanted to bring it a little bit to your personal story or your background. We both went to Penn.
Jason Ma [00:59:24]: I just found out today. Crazy.
Swyx [00:59:26]: Yes. I, my big regret is I didn’t join the self-drive, the Docker challenge. Which, and then I could have been early Waymo or something. You were at Grasp. And then you’ve also worked at Google and NVIDIA. What are the different focuses of let’s say, academia versus Google versus NVIDIA? You’ve seen all these places, right? And then that obviously caused you to say “Screw all that. I’m gonna do my own thing,” right? You could have joined OpenAI’s robotics lab. So may-just take us through chronologically, but also one thing you learned from each.
Jason Ma [00:59:58]: So chronologically, yeah, maybe it’s useful to talk about how I got into AI in the beginning, right? So, as a kid, so I spent time in Japan and China. I grew up playing Go, the Go in AlphaGo. So when AlphaGo came out, I was a senior in high school, and I was mind-blown because I’ve been playing this game for many years. It’s so complicated. Like, I think before AlphaGo came out, people were like, “Okay, Go is one of the game that AI will never solve.” The search space is larger than the total number of atoms in the world. How could you possibly search for solutions in that? Then RL, reinforcement learning just cracked it, right? And I think that was how I got into AI initially. Like, I was just really interested in models or systems, agents that can self-improve, right? So when I got to Penn as a PhD student, I just really wanted to work on reinforcement learning. So I’m co-advised. Both my advisors were interested in RL at the time. One of my advisor was more in robotics. He did a postdoc at Berkeley Robotics Lab. So that’s how I got into robots. At Penn, we have GRASP Lab, I think one of the best places to do robotics. And so that’s how I got into doing RL for robotics in my PhD. And then, yeah, I did a bunch of research thinking about how to connect reinforcement learning, with human data, how to do reinforcement learning, theory in a very rigorous way. And then I went to NVIDIA. That’s when GPT-4 came out. At the time, we were very interested in just solving a pen spinning task. I don’t know why. Like, -
Swyx [01:01:35]: It’s the dexter- it’s the dexterity limit, right? That you can solve Rubik’s cubes, and then you-
Jason Ma [01:01:39]: At the time, I was working with, -
Swyx [01:01:41]: Jinpeng
Jason Ma [01:01:41]: … Jinpeng at UCO, which you guys probably also know. Like, yeah, we were just like, “Okay, let’s try to do dexterous pen spinning.” The initial idea was learning it from human videos, right? We were trying to watch humans do it. But then I realized, okay, today we don’t have a dexterous hand that can spin pencil at all. So how would I even be able to evaluate the algorithm, even if learning from human worked at all? So I thought, “Okay, we need to first try this in simulation.” Then as soon as I tried to set up a simulated environment for a robot hand with a pen, I immediately saw what the issue is. The issue is like, if I had to come up with this simulation environment, the reward function for reinforcement learning to solve pen spinning, that’s impossible. Like, I wouldn’t be able to come up with all the terms that you need to get RL to learn the right behavior. And then I was just thinking, “What if a model that can write code can do that?” That’s what became the Eureka project, right? We basically. Like, in my opinion, we had the first recursive self-improving robotic agent in simulation, ‘cause we really used that to solve a new task that no one has demonstrated before. And that allowed me to see the potential of using language model, using coding models to really accelerate robotics. So then I went to Google DeepMind, ‘cause at the time, even today, they have one of the frontier models in Gemini, right? So I was looking at how to use Gemini for robotics. But eventually I realized like, I had a lot of fun doing academic research, but there was always a question in the back of my mind “Does any of this matter?” like, when you’re working on this kind of thing in a lab you ask me, “How do we come up with so many interesting, fun tasks?” You’re basically doing your own eval. You’re grading your own homework. Like, I wanted something more real. I wanted something that could actually be used by millions of people in the world. And I felt twenty-twenty-four was when we started Dyna, like end of twenty-twenty-four. That was the right time that we can take some of these technology to actually putting them out in the real world. So that’s why
Jason Ma [01:03:45]: I started Dyna with Lindon Gao and York Yang. And fast-forward two years, we built our platform, our model. Our robots are in Din Tai Fung. Go check it out and, -
Vibhu [01:03:55]: Go eat.
Jason Ma [01:03:56]: Yeah, go eat. It’s been a journey. And,. But what still gets me really excited is, like some of— a lot of the ideas that I temporarily abandoned when we started Dyna, because, to build a company, you have to be very practical. Like, I think simulation wasn’t ready in twenty-twenty-four. But now with like the new frontier models and what we’re seeing internally this might change. And that’s very exciting.
Product-Led Research, Experimental Evals, and Company Culture
Swyx [01:04:20]: And so then also let’s talk about company culture. What principles you’re building the company with. Obviously the— you’re responsible for the science and the research, agenda. And it just seems like when we meet the engineers, they are, they’re very engaged and then they have a lot of ownership. They have a lot of motivations.
Vibhu [01:04:38]: I’ll say it’s interesting to see how many side projects people just work on. So some of the demos we’ve seen, it’s just the engineers that work on it were like “Yeah, this seems fun. Might as well do it.” To your point on fun evals, right here, like two feet behind the camera-
Swyx [01:04:55]: Can’t talk about that.
Vibhu [01:04:57]: … just the e— the eval is just there’s highlighters, four highlighters being rubber banded together, right? It’s like, who comes up with, “ yes, we need to test putting rubber bands on high.” It’s just-
Swyx [01:05:07]: Fissionary-ish
Vibhu [01:05:08]: … fun stuff. People are very … creative here. It’s a beautiful space.
Jason Ma [01:05:12]: Yeah, I think culture. Yeah, so let’s first talk about, how we run a company, right? Like, we think of ourself as like a like a eventually like a research plus product company. It’s kind of like OpenAI where you do frontier research, but eventually all of them make their way into Codex through ChatGPT. That’s how we think about it too. We’re not here to just do open-ended whatever thing that interests us at the time. We’re always product-driven. Like, we wanna deploy our robots, our platform to a new customer. What are the technical problems we have to solve, right? We have to solve generalization. We have to solve whole body control. We have to solve how to adapt quickly. We have to solve how to make the robots follow language. We have to solve dexterity. So once all those problems are very clear, then, like. Our engineers are very capable. They’re very smart. So they just create instances of the task. They create tasks that will stress test those capabilities, right? Like the j— the grabbing a drink task is just how we test language following, right? You can just specify what you want. If the model follows intent, follows instruction, it should be able to do it. So that’s how we think about, like. At the top level, we identify what are the things we have to solve. Then we have a lot of bottom sub-project to actually drive execution to solve them. And you hire the right people. And everyone here is super passionate about robots. They’ve been doing this for a long time. They love it. And we just create a culture where it just naturally happens. And it’s a really fun place to work.
The Team: Hardware, Software, Research, and Learning
Vibhu [01:06:44]: What’s the split between technical research software versus hardware side of the company?
Jason Ma [01:06:51]: We recently grew so much, so I don’t have the perfect number. But I would say on the hardware side, we have, I would say probably like thirty percent, forty percent of hardware, just because hardware you need a lot more people. And then we have around ten people working on models. And then we have software engineers, robotics engineer. We have a lot of very talented people on the business side. The most fun thing about building a robotics company is you see everything. Everything under the sun that could possibly be helpful will be helpful, right? And so you just get so much exposure working with so many different people from many different backgrounds who are all very passionate about robots. And I think it’s been really eye-opening for me as a founder. ‘Cause when I was a researcher at a lab or a PhD student, I was talking to researchers every day, and that was great. That was really good. I still get to do that every day, but now I also get to learn just from so many different people from different walks of life. Like, some of our people who collect data, they had no robotics experience. They were working in retail, working in some other jobs, and they came here, you know. They also became very well-trained in robotics, and I think that’s just pretty amazing to see. And I think of myself as I’m still learning, you know. I think of myself as just always learning in the robotics space, and I haven’t learned so much as I am now. Even though, you think about me now, I’m not a student anymore. I’m here running a company, managing a lot of things, but I still feel like the day-to-day learning is just so much.
Dyna’s Vision and the Origin of Its Name
Swyx [01:08:29]: And then just to close off, where’s Dyna going? Two years, five years, what’s, the vision?
Jason Ma [01:08:37]: Yeah, I think our vision is to truly— The high-level mission is truly bring robots and intelligence, right, into the physical world. Like, actua— That means actually seeing our robots deployed thousands of customers, even more, millions of robots. That’s where we wanna get to.
Vibhu [01:08:58]: What’s the what’s the name from Dyna? Dynamic? Is there a is there a story?
Jason Ma [01:09:03]: Yeah, there’s many stories. So I na— I named Dyna. There were a lot of internal options.
Vibhu [01:09:09]: Take the credit.
Jason Ma [01:09:11]: … internal, different options. But how the name came to be was, there are two things. One is so, Turing Award winner, Richard Sutton, who was the pioneer of reinforcement learning, wrote a paper called Dyna many years ago. It’s about basically an agent that self-improves, world model. And I felt even when we started the company we weren’t doing world model yet, but I felt that’s how robotics will get solved. And now our technology direction is converging to that. So I felt that was a really neat inspiration, also because I worked in reinforcement learning, I have a lot of respect for Richard. The second thing is that it’s a bit more personal. Like, I grew up in Japan, and the year I was born, there was just a cartoon show. I don’t know if you guys have seen Ultraman.
Swyx [01:10:00]: Yeah, of course.
Jason Ma [01:10:01]: The yeah, the Ultraman that year was called Dyna. So, yeah, it’s a very subtle thing not people know, but I guess now everyone would-
Vibhu [01:10:10]: The team is finding out too.
Swyx [01:10:13]: But I think Richard would appreciate it. I don’t know if you ever talked to him, but-
Jason Ma [01:10:16]: No, I’ve seen him at RL conferences.
Swyx [01:10:18]: You should just be like, “Hey, this company-”
Jason Ma [01:10:20]: Yeah, I’ll invite him, come-
Swyx [01:10:21]: Inspired by you.
Vibhu [01:10:22]: Everyone knows Richard for a better lesson, but you know.
Jason Ma [01:10:24]: Yeah, also better lesson.
Swyx [01:10:27]: Okay, any parting thoughts or calls to action?
Closing: Deploying Real Robots and Building the Future
Jason Ma [01:10:31]: Calls to action. Yeah, I think I do feel like as an industry, robotics is still very demo-oriented. Like, I have done a lot of demos in the past in the lab, even here we had to show some demos. But I think we need more people that’s truly, mission-focused on doing whatever it takes to get robots deployed, get, robotic foundation models truly integrated with hardware and seeing them at real customer sites. I think we’re a pioneer on this regard, and I wanna see more in this field. And for the audience that’s watching, if this mission inspires you, if, solving the hardest problems today is what makes you wake up every day and you wanna contribute, we’re always hiring and yeah, looking forward to that.
Swyx [01:11:14]: Bay Area? Anywhere else?
Jason Ma [01:11:16]: Yes, just Bay Area today.
Swyx [01:11:18]: Bay Area.
Jason Ma [01:11:18]: But as company grows, never say never to other locations. Yeah, but that’s what I wanna say, and I wanted to see more robots in the world.
Swyx [01:11:27]: Cool. Congrats on everything. This is incredible progress for two years. Yeah. Amazing.
Jason Ma [01:11:34]: Yeah, I really appreciate it. Thank you for visiting us. I hope it’s been fun.
Swyx [01:11:40]: I don’t regret doing this on site. We do a lot of interviews in our studio, but this was worth it.
Jason Ma [01:11:48]: I think for robotics, gotta do it on site.
Vibhu [01:11:51]: For people listening in, watch the video version. We have fun B-roll.
来源：Latent Space · latent.space