NVIDIA 正在为机器人和自动驾驶汽车开发人员提供 AI 代理工具。

今天在 GTC 台北和台北国际电脑展上，NVIDIA 公司展示了多种开源物理 AI 技能和工具，以帮助机器人、自动驾驶汽车、视觉 AI 和工业数字孪生开发人员。该公司声称，它们可以帮助降低大规模构建物理 AI 工作流程的成本、时间和复杂性。

作为 NVIDIA Agent Toolkit 的一部分，这些新技能将让 AI 代理加快机器人、自动驾驶车辆 (AV)、工厂和实验室背后的数据生成、模拟、训练、评估和部署流程。

该公司表示。

“AI agNVIDIA 创始人兼首席执行官黄仁勋在台北 GTC 表示：“智能体正在彻底改变软件开发，而这种转变现在正在物理 AI 领域发生，并扩展到将改变交通、制造、医疗保健和机器人技术的系统。当智能体可以直接使用 NVIDIA 库、模型和框架时，物理 AI 开发将加快速度，使开发人员能够以令人难以置信的速度构建未来的机器人、自动驾驶汽车和工业系统。”

“物理 AI 需要大量不同类型的训练数据NVIDIA 负责物理 AI 模拟的副总裁 Rev Lebaredian 指出。“远程操作、模拟和互联网规模的数据为无限多样化的用例带来了世界基础模型。”

NVIDIA 使物理 AI 堆栈为代理做好了准备

NVIDIA 表示，它正在通过将库、模型和框架转变为代理可调用的工具来优化其整个物理 AI 堆栈。这包括：

• NVIDIA Cosmos用于物理世界推理和生成的 3 个世界基础模型
• 用于模拟和数字孪生的 NVIDIA Omniverse 库
• 用于机器人模拟和机器人学习的 NVIDIA Isaac
• 用于视觉 AI 的 NVIDIA Metropolis
• 用于自主的 NVIDIA Alpamayo 驱动
• NVIDIA Jetson平台进行边缘AI开发

“Cosmos 3是物理AI的前沿基础模型，”Lebaredian说。 “它可以理解视频和文本，并可以标记重要的内容。Cosmos 是一种物理上精确的模拟，能够预测接下来会发生什么并生成操作。”

为了帮助应用这些工具，NVIDIA 正在推出新技能，将物理 AI 开发过程转变为编码代理可以遵循的可重复指令。这包括调用哪些工具、生成哪些输出以及开发人员如何验证结果。

开发人员还可以安全地构建和部署自动化工具匿名代理将这些技能与 NVIDIA NemoClaw 蓝图和 NVIDIA OpenShell 运行时结合使用，在本地或云硬件上提供基于策略的安全和隐私治理。 Lebaredian 表示，这些代理将在 Jetson 的边缘运行，并且已经展示了正常运行时间的改进。

NVIDIA 表示，其物理 AI 技能和工具正在加速以下方面的代理开发：

• 机器人和边缘 AI：机器人开发人员可以使用技能来加速整个机器人开发流程，从生成感知和移动训练数据到模拟、自动化导航训练、推进机器人学习以及调整基于 Jetson 的边缘
• 自动驾驶汽车：对于 AV 开发人员来说，技能可以指导代理将车队捕获的数据重建到模拟环境中，大规模生成逼真的驾驶场景，并运行闭环 reinf强制学习，以扩大培训和评估覆盖范围。
• 实时视觉 AI 代理：对于自动检查和视频智能，NVIDIA 表示，其代理技能可以帮助团队生成合成训练数据、微调模型、自动标记，以及构建搜索、总结和分析实时或录制视频的视频 AI 代理。
• 工业 AI：工业软件开发人员可以使用这些技能将工程数据转换为计算机辅助数据用于数字孪生仿真的设计 (CAD) 资产，以更少的手动设置优化大型 OpenUSD 场景。
• 医疗保健：在临床环境中部署自动化之前，医疗保健团队可以指导代理创建医院环境的数字孪生、模拟真实数据生成以及软件在环策略测试。

根据 NVIDIA 的说法，这些技能可以组合并集成到更大的代理系统中。这使得开发者能够编排和自动化复杂的工作流程，例如数据生成、模拟、优化、推理调整、持续评估等。

机器人开发人员选择物理 AI 堆栈

1X Technologies、Agile Robots、Agility、FieldAI、Hexagon Robotics、 NEURA Robotics、Skild AI 和 Universal Robots 等机器人公司已经在使用 NVIDIA 的代理就绪型物理 AI 堆栈。

“通过 NVIDIA Isaac GR00T 中的堆栈更新，新的端到端工作流程可以在数小时内建立起来，而不是数周，”Lebaredian 说。 “‘全模式’意味着它可以使用不同的模式 - 视频、传感器、文本和声音来进行动作输入和输出。”

此外，富士康和仁宝正在使用 NVIDIA Isaac for Healthcare 来加速医院机器人技术。仁宝正在推进 PolyMedX 机器人的开发进程，打造一个集仿真、人工智能和现实世界为一体的全医院编排平台

富士康正在多家医院和长期护理环境中扩展 Nurabot，将人工智能驱动的机器人技术引入患者护理领域，并推出全新的 Scrub 护士协作机器人来帮助优化手术室工作流程。

行业领导者采用 NVIDIA 技术构建

制造、运输、医疗保健和工业软件领域的 NVIDIA 合作伙伴和客户正在使用其物理 AI 库来推动自主系统和工业 AI 的开发。

随着这些库支持代理，开发人员可以使用 NVIDIA 技能帮助代理在复杂的物理人工智能工作流程中自动设置、执行和迭代。

在电子制造领域，台积电和和硕正在微调视觉检测模型。据报道，和硕使用 De 生成的合成数据将模型训练和部署时间减少了 67%完善的图像生成技能。

台达电子生成综合缺陷数据，并利用该技能捕捉金属母排上的多余焊接，将检测率提高了 17%。英业达通过集成缺陷图像生成技术开发了 Observation Agent 视觉检测管道，将笔记本电脑机箱制造的缺陷数据收集工作减少了 30%。

富士康与 DeepHow 合作，利用该技术通过及早发现错误来提高制造效率，从而将首次合格率提高约 3%。

在工业 AI 领域，Cadence、Dassault Systèmes、Siemens 和 Synopsys 正在使用 NVIDIA用于工程数据检查、模拟和交互式数字孪生的 Omniverse 库和技能。 PTC、MetAI 和 Lightwheel 正在利用 NVIDIA Isaac Sim 框架和基于 OpenUSD 的工作流程，将 CAD 数据转换为模拟就绪的资产和环境。

作为其“Autonomous Fab 2030”路线图的一部分，SK hynix 正在实施 semiconductor fab 使用 NVIDIA Omniverse 制作数字孪生。该芯片制造商还与 NVIDIA 和 SK Telecom 合作，验证用于制造特定物理 AI 的 NVIDIA Agent Toolkit。

自动驾驶开发商 Li Auto、Afari 和 DeepRoute.ai 正在使用 NVIDIA Omniverse NuRec 模型进行神经场景重建和渲染。他们每天生成超过 1,000 次重建以及超过 300,000 次渲染和模拟。

此外，自动驾驶公司正在使用新的代理技能库来加速和增强其更安全、更强大的自动驾驶系统的开发。富士康、VinFast、Uber 和 HUMAIN 已加入 NVIDIA DRIVE Hyperion 生态系统，开发和部署 SAE 4 级机器人出租车。

NVIDIA 机器人产品总监 Spencer Huang 表示，Alpamayo 2 Super 的下载量已超过 50 万次，并被评为 Computex 的“最佳技术”。

物理 AI 代理工具现已推出

NVIDIA 表示，其物理 AI 代理工具和技能可通过 GitHub 和 skills.sh 获取，可与任何编码代理一起使用。

用于合成数据生成的代理技能和工具 - 神经重建、视频增强、缺陷图像生成 - 也可在 NVIDIA Brev 上以物理 AI Launchables 的形式提供，这是捆绑代理技能和工具以加快合成数据生成和评估速度的预配置环境。

Microsoft、CoreWeave 和 Nebius 正在将这些代理技能和工具与其云服务集成，使开发人员能够简化和扩展合成数据生成和评估。

Unitree humanoid 是 NVIDIA Isaac GR00T 的参考

NVIDIA 还宣布了 NVIDIA Isaac GR00T 参考人形机器人，一种基于 NVIDIA Jetson Thor 和 NVIDIA Isaac GR00T 开发平台构建的开放式人形机器人参考设计。该公司表示，随着人们对通用类人机器人的兴趣日益浓厚，这将有助于实现先进硬件和软件的民主化，而无需昂贵的专有平台。

NVIDIA 将全尺寸机器人身体与灵巧的操纵、传感、控制和板载人工智能计算相结合：

• Unitree H2 人形机器人底盘，站立高度近 6 英尺（1.8 m），重 150磅（68 公斤），具有 31 个自由度，可进行人体规模测试。
• 双Sharpa Wave五指触觉手，可实现 22 自由度的灵巧操作，并使机器人的身体和手部达到 75 度自由度。
• 多视图传感，包括头戴式立体摄像头具有宽视野（水平 140 度、垂直 102 度）、用于近距离操作的腕式摄像头和用于运动跟踪的惯性测量单元。
• 全身控制，手臂扭矩高达 120 牛顿米，腿部扭矩高达 360 牛顿米，额定手臂有效负载为 7 公斤（15.4 磅），峰值有效负载为 15 公斤（33磅），解锁更强大的举升和伸展能力。
• NVIDIA Jetson AGX Thor T5000 板载计算，配备具有 2,070 FP4 teraflops 人工智能性能的 NVIDIA Blackwell GPU、14 核 Arm CPU、128GB 统一内存以及可配置的 40 至 130 瓦功率范围，用于实时传感器处理和机器人
• 连接通过以太网、Wi-Fi 6、蓝牙 5.2、USB 以及一系列麦克风和扬声器进行语音交互。
• 电池可实现长时间运行，容量为 15Ah、0.972kWh，续航时间约为 3 小时。
• 开启- 远程紧急停止功能，可快速安全地脱离机器人。

Isaac GR00T 平台包括：

• NVIDIA Isaac Teleop，用于捕获高质量的机器人演示数据，用于训练和政策制定。
• NVIDIA Isaac GR00T 开放基础模型，支持人形推理、学习和多任务行为。
• NVIDIA Isaac Sim 和Isaac Lab，用于在实际部署之前模拟、训练、测试和评估机器人策略。
• 加速 NVIDIA Isaac ROS 中间件，用于将经过训练的策略转移到机器人上。
• NVIDIA Jetson Thor用于运行实时机器人推理

该系统采用模块化设计，因此机器人团队可以使用完整的平台或将选定的功能集成到现有的开发流程中，帮助他们扩展人形开发无需为每个机器人或任务重建相同的基础设施。

包括 Ai2、苏黎世联邦理工学院、斯坦福机器人中心和加州大学圣地亚哥分校的高级机器人和控制实验室在内的领先研究机构计划使用此参考设计来推进人形机器人研究。

“为了在通用机器人方面取得进展，研究人员需要功能强大且可广泛访问的平台，”Skild AI 联合创始人兼首席执行官 Deepak Pathak 表示。 “参考设计可以让更多研究人员参与前沿人形研究，更快地从想法转向实验。这有助于推动整个机器人研究生态系统向前发展。”

NVIDIA Research 还将使用此参考设计来推进 Isaac GR00T 开放模型、框架和硬件。 NVIDIA Isaac GR00T 参考人形机器人将于 2026 年末从 Unitree 上市。