生成式AI公司Runway发布Praxis-1，这是一款开放权重的世界动作模型，目标是把公司在视频模型上的预训练能力转化为机器人控制能力。Runway称，Praxis-1建立在其通用世界模型所使用的大规模视频预训练基础之上。
传统机器人策略往往受制于机器人专用训练数据不足。Praxis-1主要从第三人称视频中学习物体行为和任务过程，希望利用互联网上规模更大的日常活动视频，减少对遥操作演示数据的依赖。Runway称，随着视频训练规模扩大，模型性能也会提升。
Runway成立于2018年，总部位于纽约布鲁克林，业务涵盖视频编辑、动作捕捉、文生视频和图生视频等生成式AI工具。公司此前还发布了GWM-1等世界模型，并在纽约、旧金山、西雅图、伦敦、巴黎、特拉维夫和东京设有团队。
用视频数据训练机器人策略
Runway认为，人们每天拍摄和上传的日常生活视频，规模远高于机器人实验室能够通过遥操作采集的演示数据。公司称，其世界模型在仿真中对机器人策略现实表现的预测相关性达到0.95。
在大型视频模型预训练基础上，Runway还开发了Solaris和GWM Worlds等交互式实时视频模型。通过学习物理规律、手部动作以及任务执行过程，公司希望构建可用于数字代理和实体机器人的动态训练环境。
Praxis-1已覆盖从抓取饮料罐等基础取放任务，到处理礼品袋等柔性物体的复杂操作。
面向多种机器人本体开展测试
在公开发布前，Runway正与Noble Machines、Standard Bots等早期合作伙伴测试Praxis-1。初步结果显示，同一模型经过少量微调后，可从双臂机器人迁移到人形机器人等不同本体。
Runway计划以开放权重方式发布Praxis-1，而不是只提供封闭服务。公司还将继续招募早期合作伙伴，在不同机器人和环境中评估模型的有效性、安全性和泛化能力，并据此缩小潜在能力差距。