英伟达在机器人学习大会 CoRL 上发布 GR00T 2 世界—动作模型和 Isaac Lab 3.0 开源机器人学习框架,重点提升机器人灵巧操作、仿真训练和评测能力。
GR00T 2 使用超过 10 万小时的开源第一视角人类视频数据训练,目标是让机器人从人类示范中学习操作技能,并在不同机器人本体之间迁移。英伟达称,该模型在 50 项评测任务中无需特定任务示范即可完成至少 40 项;每项任务仅使用一次示范时,平均成功率达到 71%,其中 5 项任务达到 95%。
模型还提供控制代理接口,可将多个技能按顺序组合,并在执行失败后恢复。英伟达同步推出“视频转数据”开放流程,把人类视频转换为可用于仿真的机器人示范数据。
Isaac Lab 3.0 面向大规模仿真训练,支持在 PhysX 与 Newton 物理求解器之间切换,并增加代理式环境构建、仿真资产准备和强化学习后训练工具。Newton 可模拟电缆、布料等可变形物体以及机器人手等复杂关节系统。英伟达称,在基于视觉的灵巧操作基准中,新版本配合 Newton 的训练吞吐量最高可达到 Isaac Lab 2.3 的 2.5 倍。
新版 Isaac Lab-Arena 用于建立可重复的机器人策略评测,并可并行测试大量环境变化。英伟达同时介绍 DexBench 和 VABAR 两项开放基准:前者评估零售、物流、制造等现实场景中的灵巧操作,后者评估六类工业任务中的机器人适应能力。
FieldAI、Flexion、Dyna Robotics、Dexmate、Foxconn、RLWRLD 等企业和研究团队已在测试相关工具,应用包括非结构化环境策略训练、全身控制、服务器制造、机器人洗衣和精密装配。英伟达希望通过统一的数据、仿真、训练和评测工具链,缩短机器人技能从研究走向现实部署的周期。