Generalist 建立在根据真实世界数据训练机器人的研究基础上。资料来源：Generalist
夏天就是创造回忆。对于机器人来说，这意味着生成大量数据。这也是一个补读书的时间。
去年六月我的海滩材料是关于“通用操控接口：无需野外机器人即可进行野外机器人教学“ （又名 UMI）。这些学术发现很快成为价值 20 亿美元的独角兽机器人初创公司 Generalist 的基础。
本质上，丰田研究所的团队（TRI), 哥伦比亚大学， 和 斯坦福大学 创建了一个使用类似木偶的数据收集平台 末端执行器 由人操作，用 GoPro 摄像机捕捉现实世界的任务，例如洗碗和捡起物体。
由此产生的演示成为机器人基础模型的训练数据，从而使 协作机器人 更快地学习和接管这些任务。
UMI 的论文演示图像，展示了协作机器人完全自主的人类数据捕获。来源： https://umi-gripper.github.io/
模型快速生成协作机器人策略
今年六月在 自动化，Generalist 现场演示了其模型如何快速为不同的协作机器人系统创建策略。在大厅的一侧，该公司展示了如何制造优傲机器人（UR）双臂折叠并制作纸板箱，而穿过麦考密克中心时，它使用 非夕科技 修理机器人吸尘器的手臂。
根据 公司的 X 帖子夸耀了展会上的展示：“最引起共鸣的不仅仅是模型可以完成任务，而是它们具有在出现问题时实时恢复的智能，这让人们对自动化有了不同的思考。”
Generalist使用一系列机器人手和手臂
然后，差不多一个月后， 人工智能 独角兽发布了一篇题为“迈向千手机器。为了更好地理解 Generalist 在众多用例中使用不同手臂和夹具（包括抹刀）的最新成就的意义，我采访了 Samantha Castellanos，她是 公司的创始机械工程师。
我想了解研究之外的过程，特别是它如何转化为工业实施，以加速采用并将使用扩展到新的应用程序。
作为起点，Castellanos 分享了 Generalist 的总体理念：“我们的主要目标是打造世界上最好的模型。归根结底，我认为我们的模型将成为我们区别于其他公司的护城河。”
这位机械工程师指的是已经很拥挤的领域，该领域已累计筹集了超过 40 亿美元，其中包括像 Skild AI （20亿美元）， 物理智能 （10亿美元）， 现场人工智能 （3亿美元），以及 RLWRLD （4100 万美元）。
数据和工具让模型变得更好
“我们所做的一切都是为了让模型变得更好，”她继续说道。 “所有的数据收集、所有类型的工具收集、与世界的不同类型的交互。这一切都非常重要。除了我们一直在进行的所有效率改进之外，我们只是试图通过为模型提供它需要了解的关于世界如何运作的一切来构建真正的通用智能，我认为这将使我们与众不同。”
卡斯特利亚诺斯说，从战术上讲，Generalist的数据收集方法是他们最独特的特点。
“从硬件的角度来看，我们的夹具只是一个单自由度 [DoF] 的夹具，我认为这与其他一些人开始的非常不同，”她说。 “而且我认为简单的设计有一种优雅的感觉。很多时候，简单的东西往往是最坚固的，从硬件的角度来看，这绝对是我们的核心价值观之一。”
“作为一名硬件工程师，我的重点是简单性和稳健性，因为你不可能每五分钟就放下一条生产线来获取夹具，”卡斯特拉诺斯补充道。 “你需要能够快速切换。你需要让生产线重新运行。如果需要两分钟才能更换一根手指，那就太好了。你的生产线只停机两分钟，这是我非常喜欢这家公司的一点。”
初创公司从数据收集转向工作机器人手臂
令人惊奇的是，Generalist 从收集到工作的机器人手臂的速度有多快。
“我们为这项工作（千手演示）所做的所有数据都是在我们位于波士顿的办公室收集的，其中一些数据也在我们加利福尼亚州的办公室收集，”卡斯特拉诺斯说。 “所以在几个小时内，存在一个差距。这一切都相当小。我写下了所有的数字。我们最多大约有 80 个小时。最少的是两个小时。就像削皮器一样，视频中有一个简短的削皮器时刻，而这只是两个小时的数据收集。”
然后，这个过程从人类收集到机器人政策，再由机器本身进一步完善。
“我们为各种任务收集了 2 到 80 小时的人类数据，然后我们还收集了机器人数据，”卡斯特拉诺斯回忆道。 “所以这将是机器人数据收集：在机器人上运行仅针对人类数据训练的模型，然后收集更多数据。”
“通常情况下，这是以分钟为单位的，最多不会超过 80 分钟，但也只有 4 分钟，”她解释道。 “就像处理胶带手一样，这是一个非常快的任务。大约只需要一秒钟。因此，对于机器人数据收集，我只在机器人上收集了大约 50 个完美的胶带数据收集片段，而且只用了四分钟。这为我们提供了一个相当大的模型，能够连续使用胶带配送器 10 次。”
工程师进一步说明了这个过程：“所以我认为这项工作最大的惊喜是，最初我们不知道它的效果如何。我们假设，是的，我们的模型就像一个物理模型，末端执行器并不重要；我们可能与夹具无关。所以这是我们第一次真正努力证明这一点。”
“所以，我们研究的第一个工具是螺丝刀手，最初它不起作用，但事实证明我在第一次尝试时没有训练足够长的时间，”卡斯特拉诺斯承认。 “所以，我只是训练了它更多的步骤，最终得到了一只可以很好用的螺丝刀手。”
模型将操纵转移到行业
虽然这些模型在实验室中表现良好，但我的大问题是，“当 Generalist 在工业中部署时会发生什么？”
“我们有很多不同类型的客户来找我们。那些想要一体化解决方案的客户。我们为他们提供一切。他们运行我们的模型。我们为他们提供硬件。他们不需要自己做任何事情，”卡斯特拉诺斯回答道。 “还有其他更精通机器人并且已经拥有 UR [手臂] 的客户，这个机器人系统可以使用您的模型在其上运行。”
“关于我们如何整合这一点，没有什么是不可能的，”她补充道。 “此外，该模式每周甚至几乎每天都在改进，以至于我们仍在找出哪种商业模式最有意义。但一切都在桌面上。”
重新校准是一个差异化因素
Castellanos 表示，Generalist 的最大区别之一是，当出现问题时，其模型重新校准的速度有多快。
“所以它学会了当东西跌倒时如何恢复。它学会把一个物体从一只手递到另一只手。所有这些东西都已经被烘焙了，”她说。 “所以已经有一定数量的恢复数据了。即使没有在特定任务数据中获取，比如我们 1000 手视频末尾的刮扫任务，那也是一种混沌模型。”
“我觉得这很有趣，因为它使用的恢复行为不在其特定任务数据集中，比如用另一只手使用刷子；这是一种不知从何而来的灵巧行为，”卡斯特拉诺斯评论道。 “可恢复性已经存在，我认为这就是我们模型的独特之处，因为它学会了如何从我们庞大的数据集中的其他交互中恢复。”
“至于部署，我认为这绝对有助于在线发生问题时实时恢复，例如当人或机器人掉落东西时，”她宣称。 “当事情进展不那么完美时，肯定还有机会。我们的模型越好，复苏的可能性就越大。”
移动操控和人形机器人即将到来
展望未来，随着 Generalist 在现实世界中部署更多模型，我质疑是否 类人生物 将会是下一个。
“我们还没有在 人形机器人 上运行，但我们有自己的计算机可以运行我们所有的模型，”Castellanos 回答道。 “我仍然认为这对于移动机器人来说是可行的。我们只需要能够将计算机放在移动平台上即可。因此确实需要完成一些集成工作。如果它是一个已经拥有大量计算能力的 人形机器人，我会很高兴在 人形机器人 上运行它。”
应该指出的是，UMI 谱系已经扩展到通用的、类似 人形机器人 的机器人。 UMI 合著者 Russ Tedrake 和 Ben Burchfiel 均曾在 TRI 工作，后来共同创立了 瓦尔登机器人公司，将大型行为模型应用于 移动机械手 在现实世界的工业环境中。
“我只是来这里看看会发生什么，因为有时很难预测这些模型的表现如何，”卡斯特拉诺斯总结道。 “我希望看到它在没有提示的情况下自行完成更多的工作。能够达到我们的模型需要几分钟的数据就可以完成任务，并从奇怪的边缘情况中恢复的程度。我真的很高兴看到这一成果实现，而且我认为这可能比我们想象的要早。”
瓦尔登的移动机械手演示了夹具组装任务。资料来源：瓦尔登机器人公司