Skild AI表示，S1支持机器人通过上下文学习掌握新任务。图片来源：Skild AI
Skild AI近日发布旗舰机器人基础模型S1。公司成立于2023年，累计融资近17亿美元，目标是开发通用机器人大脑。
Skild AI称，S1可通过观看一段人类示范视频学习新的复杂任务。联合创始人兼首席执行官Deepak Pathak向The Robot Report介绍，该模型利用上下文学习，无需为每项新任务重新训练。
Pathak表示，只需把人类执行任务的视频放入提示上下文，机器人就能跟随示范；公司展示的是复杂的长时序任务，而非只持续三四秒的简单动作。
S1 对一系列数据类型进行预训练
传统机器人AI模型面对新任务时通常需要后训练，流程耗时并限制规模化。Pathak把机器人训练数据分为四类，Skild在S1预训练中综合使用全部数据来源。
- 遥操作数据：由人直接控制机器人动作，数据质量高但采集速度慢、覆盖场景有限。
- 人类视频：机器人通过观看人类示范学习任务，数据丰富多样，但难以直接映射到机器人动作。
- 仿真数据：在计算机模拟环境中训练机器人，易于规模化并覆盖多种场景，但仍存在仿真到现实的差距。
- 数据采集手套：人类佩戴专用手套执行任务并记录动作，扩展性略高于遥操作，但与真实机器人动作的对应关系较弱。
“如果你观察任何一家公司，你会发现他们主要关注其中一个来源。但是，如果我们从第一原则出发思考，我们就会意识到没有黄金之路，”帕塔克说。 “我们必须使用所有这些来源，因为一种来源的优点可以弥补另一种来源的缺点。”
“人类视频多种多样，但与机器人相去甚远。你可以将其与手套或远程操作数据结合起来，”他继续说道。 “这就是我们结合数据源进行预训练的方式。”
Skild AI 针对一系列任务和外形尺寸
Skild AI目前不把S1限定在某一任务或行业，而是持续用新的任务检验模型的通用性。
Skild重点测试最长约10分钟的长时序任务，包括重新栽种植物、冲泡咖啡和制作煎饼。
Pathak说，煎饼翻面能力并非来自训练数据中现成的完整示例，而是模型从锅铲运动等经验中形成了相应动作能力。
S1还面向多种机器人形态，可用于四足机器人、人形机器人和固定式机械臂；公司未来会继续提升模型在人形机器人上的表现。
Pathak表示，早期版本已显示出动态适应不同本体的能力，但在人形机器人上的扩展仍处于早期阶段。
机器人技术会拥有自己的“ChatGPT 时刻吗？”
很容易将机器人基础模型的情况与大型语言模型 (LLM) 的情况进行比较。
“在 GPT 系列模型之前，语言模型过去常常针对每一项任务进行微调。因此，即使在发现和发明 Transformer 之后，您仍然必须针对每个新基准、每个数学问题、任何新场景进行微调，”Pathak 说。 “当你过渡到 ChatGPT 时，语言发生了巨大的变化，你不必微调或训练网络。你只需在提示中写入，模型就可以遵循它。”
虽然 Pathak 表示他相信这是朝着正确方向迈出的一步，但他认为机器人技术还没有完全达到 ChatGPT 的阶段。
“现在的问题是：它是否完全准备好推广到人们的家中？还没有完全准备好。但这是我们认为可能会发生的第一个迹象，”他说。
展望未来，Pathak 表示 Skild AI 还将推出更多重大版本。 “你会在接下来的几周内看到，我们将展示 S1 如何帮助生产，”他说。 “它实际上帮助我们更快地获得更多客户。”
Skild把部署列为重点，并已收购Fetch Robotics，以补充机器人落地和规模化所需的人才与经验。
“当然，我们将继续扩大前沿研究，但与此同时，部署是重中之重，”帕塔克说。