
谷歌深度思维 已经介绍了 双子座机器人 ER 2,一种先进的具身推理模型,旨在充当机器人的高级大脑,以在现实环境中理解、计划和执行多步骤物理任务。
该模型由工程师 Steven Hansen 和 Peng Xu 开发,通过集成实时视频源、实时任务编排以及 Google 搜索等工具调用功能以及较低级别的视觉语言动作控制器,代表了 Gemini Robotics ER 1.6 的重大变化。
通过处理连续视频,Gemini Robotics ER 2 在进度分类方面实现了 57.4% 的准确率,在亚秒级精确时刻查找方面实现了 91.3% 的准确率,使机器人能够跟踪多步骤工作流程、验证完成情况并在物理操作期间进行自我纠正。
该系统通过双向流端点与 Gemini Live API 集成,消除了传统的停下来思考的暂停,以实现流畅的延迟敏感任务,例如使用波士顿动力的 Spot 操纵器和导航控件获取物品。
为了解决超出单台机器能力的复杂操作工作流程,Gemini Robotics ER 2 引入了多机器人协作,允许 Apptronik 的 Apollo 2 Humanoid 和 Franka F3 Duo 等不同硬件通过共享语义理解进行通信。
谷歌 DeepMind 还提高了物理安全能力,在安全指令遵循和人类接近基准方面取得了领先的表现,只要人类接近共享操作工作空间,就会自动停止机器人运动。
该模型现已通过 Gemini API 和 Google AI Studio 向开发人员公开提供,并在 Gemini EntERPrise 代理平台上提供私人预览版,以加速下一代物理 AI 部署。
来源:RoboticFirms