
Isaac GR00T 平台可帮助机器人开发人员扩展人形数据收集和基于模拟的培训,以在真实机器人上开发、验证和部署策略。 |来源:NVIDIA
NVIDIA 和 Hugging Face 正在合作,将 NVIDIA Isaac GR00T 1.7 和 NVIDIA Isaac Teleop 框架引入 Hugging Face 的开源机器人库 LeRobot。两家公司表示,他们希望尽快将物理 AI 前沿模型 NVIDIA Cosmos 3 引入该平台。
Isaac GR00T 1.7 是一种用于人形机器人的开放式推理视觉语言动作 (VLA) 模型。这些集成共同为开发人员提供了更易于访问和标准化的端到端机器人开发路径,同时推动整个开放机器人的创新和协作合作伙伴表示,开源人工智能已经表明,当模型、数据和工具共享时,开发人员可以多么快速地进行创新。机器人技术也有同样的机会,但物理人工智能开发的进步仍然受到昂贵且分散的资源的限制,从大型数据集和机器人基础模型到模拟、计算和验证工具。
“开源是一个领域如何将先进研究转化为人们可以研究、适应和构建的东西,”Hugging Face 联合创始人兼首席科学官 Thomas Wolf 说。 “今天,借助 LeRobot 中的 NVIDIA Isaac GR00T 1.7 和 Isaac TeleOp,机器人开发人员可以使用共享模型、数据和工作流程来公开训练和评估机器人。随着接下来计划的 NVIDIA Cosmos 3,社区将有一条途径将前沿世界模型引入同一个协作循环中。”
NVIDIA、Hugging Face 将机器人开发人员与 AI 构建者联系起来
Hugging Face LeRobot 是一个开源机器人库,用于训练、运行和共享机器人数据集、模型、策略和工作流程。NVIDIA 与该公司的持续合作将 NVIDIA 的 300 万机器人开发人员与 Hugging Face 的 1600 万人工智能构建者联系起来,通过开放工作流程扩大对前沿物理 AI 工具的访问。
将 NVIDIA 物理 AI 功能引入 LeRobot 为开发人员提供了一个共同的平台收集和标准化数据、训练和微调机器人基础模型、评估性能以及通过开放工作流程部署模型。
集成包括:
- NVIDIA Isaac Teleop 是一个用于机器人数据收集的开源框架,使开发人员能够使用标准化、可互操作的格式从外部设备捕获高质量的人体演示,然后他们可以直接在 LeRobot 中扩展和与社区共享数据集。
- NVIDIA Isaac GR00T 1.7,首次开放商用这是一个可行的机器人基础模型,旨在通过 LeRobot 工作流程更轻松地进行模型后训练和部署。开发人员可以使用它来使 GR00T 适应具有基准性能的新机器人实施例和任务。
- NVIDIA Cosmos 3 是乐机器人即将推出的物理 AI 前沿世界基础模型,可帮助开发人员生成和增强机器人数据、模拟场景,并在现实数据有限或收集成本过高时支持政策制定。
乐机器人已采用 NVIDIA 技术
这些集成建立在已连接到 LeRobot 的更广泛的 NVIDIA 资源之上,以支持完整的机器人开发循环。乐机器人已经提供了大型开源物理人工智能数据集,下载量超过 1500 万次。该数据集包含超过 350,000 个真实和模拟轨迹以及 5700 万个抓取点,以帮助开发人员启动他们的机器人工作流程。
它还包括 NVIDIA Isaac Sim 和基于 Isaac Lab 的模拟框架。这些框架专为开发人员在转向物理机器人之前设置环境、生成机器人数据、测试策略和验证行为而设计。
NVIDIA Isaac Lab-Arena 位于 LeRobot 环境中心,使开发人员能够快速构建复杂模拟环境原型,在 LeRobot EnvHub 中注册它们,并在 LeRobot 生态系统中使用它们来训练和评估 GR00T、Pi 和 SmolVLA 等通用机器人策略。
此外,NVIDIA Jetson Thor 与乐机器人 Reachy 2 的集成支持在开源人形机器人上部署 VLA 模型。