图 1｜Embodied First Exam 概览。这是一个用于评估编程智能体完成机器人任务能力的综合框架。它的规模大、类型多样，涵盖 1,156 项任务、35 个任务套件和 47 种机器人，并且易于运行和评估：一条命令即可运行任意编程智能体，每项任务最多可以在三种评估设置下评分。
项目主页：
embodied-first-exam.ai
代码：
github.com/mll-lab-nu/embodied-first-exam
轨迹数据：
huggingface.co/datasets/MLL-Lab/embodied-exam-data
摘要
Agentic Robotics 的早期成果表明，使用编程智能体控制机器人可能带来范式转变。现有机器人基准围绕视觉运动策略学习构建，因此，编程智能体能否在物理世界约束下可靠地控制不同机器人，仍是一个开放问题。
为此，我们提出 Embodied First Exam（EFE）：一个统一、综合、Agent 原生的评估框架。在这个框架中，编程智能体可以自行选择控制方式：直接控制、编写代码进行控制，或训练策略进行控制。
我们希望它成为编程智能体进入物理世界之前的第一场考试。该基准涵盖 47 种机器人、35 个任务套件和 1,156 项任务，其中包括 9 个新套件，任务范围超越抓取与放置，涵盖空间谜题、灵巧操作、多机器人交互、动态全身控制以及 Sim-to-Sim 工程。
每项任务最多可以在三种评估设置下运行。Standard Setting 模拟真实世界：智能体只能接收传感器观测，默认情况下不能重置环境。其 Realtime 变体会在智能体推理时保持环境持续运行。Privileged Setting 则允许智能体访问完整仿真器状态并无限次重置，从而为训练目的搜索 Oracle 解。该设置下的成功率可作为近似上界。
在 456 项核心任务上，8 个智能体中表现最强的是 Codex 中的 GPT-6 Astra，其在 Standard Setting 下的成功率为 34%，仍有很大的提升空间。为了了解智能体在哪些环节失败，我们对失败尝试发生错误的阶段进行标注，并从智能体、评估设置和阶段类别三个维度比较失败情况。
1. 引言
机器人获得新技能的方式，要么是通过人工编程，要么是从数据中学习，例如近期的 VLA 和世界动作模型。
由 LLM 驱动的编程智能体提供了第三种方式。它们已经能够在数字世界中完成具有挑战性的软件工程任务。这类智能体有望应用于机器人工程，是因为它们能够将指令转化为可执行代码，并通过自动化实验调整计划。Agentic Robotics 近期的早期成果表明，这可能带来一种范式转变：智能体直接控制机器人、编写机器人程序，或者训练策略。
这促使我们系统评估编程智能体的能力边界：
通用编程智能体能够解决哪些机器人任务？它们需要遵守哪些物理世界约束？又会在哪里失败？
现有基准尚不能充分回答这个问题。我们无法仅凭一组范围有限的机器人任务，或是不施加物理世界约束的自动编程任务，确定其能力边界。要回答这个问题，我们需要明确应该评估哪些机器人能力，衡量物理世界约束如何影响成功率，并通过任务接口支持不同的模型和 Harness。
为回答这一问题，我们提出 Embodied First Exam（EFE）：一个将编程智能体与仿真机器人连接起来的统一评估框架，如图 1 所示。该框架遵循三项原则。
第一，纳入超越抓取与放置的多样化任务。空间谜题测试对空间约束的推理能力；Sim-to-Sim 工程测试智能体如何在陌生动力学条件下，根据执行反馈调整控制器。动态任务测试对不断变化的环境作出响应的能力。多机器人交互和全身控制测试协调能力。
因此，EFE 包含 47 种机器人、35 个任务套件和 1,156 项任务。它整合了 26 个由现有机器人基准适配而来的套件，以及 9 个涵盖上述能力和安全性的新套件。
第二，衡量成功率如何受到物理世界约束的影响。任务应尽可能遵循真实机器人的约束。在能够获取完整仿真器状态并重置环境的条件下取得成功，并不能说明智能体在只能获得部分观测、无法重置环境，或动态环境持续运行时能够做到什么。
因此，我们为每项任务定义了最多三种评估设置：
Standard Setting：遵循真实机器人条件。智能体只能通过机器人传感器观测环境，且默认无法重置环境。智能体推理时，仿真会等待。
Realtime Setting：Standard Setting 的变体。在智能体作出决策时，环境保持持续运行。
Privileged Setting：提供近似上界，也可用于生成训练数据。智能体可以访问完整仿真器状态并无限次重置，从而通过试错搜索 Oracle 解。
我们将每一个“任务—设置”组合称为一项测试。同一任务的不同测试共享初始场景和成功判定规则，使我们能够比较状态访问权限、重置限制和时间条件发生变化时的成功率。
第三，为不同模型、Harness 和控制方式提供统一基础设施。只需一条命令，EFE 就能在多种机器人任务上运行不同的模型与 Harness 组合。给定自然语言任务指令后，智能体自行选择控制方式，如图 2 所示：
直接控制（Direct control）：智能体在接收观测后直接输出动作。
编写代码进行控制（Code to control）：智能体输出规划器、控制器或其他程序，由程序生成机器人的动作。
训练策略进行控制（Train a policy）：智能体在仿真中训练策略，并使用该策略控制机器人。
框架会强制执行各评估设置允许的访问权限，并由智能体无法控制的验证器对每次尝试进行评分。
图 2｜控制方式示例。每种方式均展示了智能体命令或代码的摘录。深色标签标记了所使用的方式，其中 model 表示直接控制；方框中的代码行为一个策略。
我们在由 456 项困难任务组成的核心任务集上评估了 8 个编程智能体。表现最强的智能体是 Codex 中的 GPT-6 Astra：在相同的 391 项任务上，它解决了 77% 的 Privileged 测试，但仅解决了 30% 的 Standard 测试。
除表现最强的三个智能体——GPT-6 Astra、Claude Opus 5.5 和 Gemini 4 Argon——之外，表现最好的是 Kimi 3.1 Pro。它解决了相同 391 项任务中 9% 的 Standard 测试，即 34 项测试，如图 11 所示；在 Realtime 测试中的成功率为 7%，如图 8 所示。
Realtime Setting 更加困难：在该设置下，63% 的测试没有任何智能体能够解决；相比之下，相同 54 项任务的 Standard 测试中，这一比例为 50%。
为了确定任务内部的失败发生在哪里，我们将每项任务划分为多个阶段。每个阶段对应完成任务所需的一个环境状态变化。例如，“将番茄放入关闭的冰箱”这一任务包含三个阶段：冰箱被打开、番茄被放入冰箱、冰箱再次关闭。
对于 8 个智能体在 427 项任务中的每一次失败尝试，我们使用另一个独立的编程智能体标注失败发生的阶段。主要发现如下。
Privileged 与 Standard 的比较，第 3.2 节。对 GPT-6 Astra 而言，重置环境的帮助大于获取物体精确状态的帮助。两者同时具备时，成功率与 Privileged Setting 之间的大部分差距得以消除。在 Standard Setting 下，需要精确操作的阶段会变得困难得多。在这些阶段，重置环境有所帮助，但仅提供精确状态并无帮助。
智能体在哪里失败，第 3.3 节。同一任务中的失败往往发生在相同阶段，通常是任务的第一个阶段。这一阶段在 Privileged 和 Standard 两种设置下也往往相同。需要改变材料状态或移动机器人身体的阶段，失败率最高。
不同智能体之间的差异，第 3.4 节。与更强的智能体相比，较弱的智能体更容易在建立所需接触之前就失败。在 Standard Setting 下，最强的三个智能体解决的测试集合部分不同。切换 Harness 可使同一模型的成功率变化最多 12 个百分点。
智能体如何控制机器人，第 3.5 节。在一项足球任务的 Standard 和 Realtime 设置下，获得 GPU 和训练库的智能体会训练策略，而只有经过训练的策略赢得了比赛。在 Standard Setting 下，智能体大多直接控制机器人；在 Privileged 和 Realtime 设置下，智能体则大多编写程序来控制机器人。
图 3 图注。（a）我们的统一框架支持不同的模型、Harness、控制方式和仿真器。（b）在 Privileged 设置下，智能体与仿真器共享一个容器，验证器在独立环境中重放提交的答案。在 Standard 和 Realtime 设置下，仿真器与验证器和智能体相互隔离，并对实时执行的 episode 进行评分。
2. Embodied First Exam：面向机器人领域编程智能体的统一评估框架
在本节中，我们介绍如何在机器人任务上评估编程智能体（第 2.1 节）、每项任务的资源约束（第 2.2 节），以及考试中的任务（第 2.3 节）。
2.1 框架与评估协议
现有机器人基准侧重于具有相对固定输入输出接口的视觉运动策略学习，而我们评估的编程智能体可以自行选择控制方式。
因此，我们的设计原则是：在智能体如何采取行动方面给予其充分自由，只对结果施加约束。我们固定其起始状态、可获得的资源以及成功判定方式。为此，我们将每项机器人任务打包为 Harbor 格式。Harbor 是 Terminal-Bench 的评估框架，在容器中运行任务，如图 3a 所示。
智能体拥有自己的工作空间，可以在其中安装软件包、编写和运行程序，以及训练模型。每项任务都从固定的初始状态开始；智能体容器之外的验证器会报告智能体提交的答案是否符合任务的成功规则。
在这一框架之上，我们定义了统一的评估协议，每项任务最多包含三种设置，如图 3b 所示。我们将 Privileged 设计为性能的近似上界，允许智能体完全访问仿真器以进行试错；Standard 和 Realtime 则使评估尽可能接近真实机器人条件。
这一上界针对的是一组任务，而非每一项单独的任务，因为智能体可能在 Standard 设置下解决某项任务，却在 Privileged 设置下失败，见附录 D。
对于给定任务，所有设置共享相同的初始场景、成功规则和时间限制，因此它们的结果是配对的。这些设置的区别在于：智能体能够观测到什么、是否能够重置环境、环境是否会等待，以及仿真器和验证器在哪里运行；它们绝不会限制智能体可以选择的控制方式。我们在第 3.2 节中对前两项差异进行了消融。
Privileged
在 Privileged 设置下，智能体与仿真器运行在同一个容器中，因此它可以读取完整的仿真状态，并且不受限制地重置环境。
智能体必须提交一条底层机器人轨迹；对于某些任务，则需要提交控制器程序。验证器在独立容器中重放轨迹，或运行控制器，以确定任务是否成功。
Standard
在 Standard 设置下，我们将仿真器作为一项服务，运行在独立容器中。智能体通过预先定义的 API 有限地访问仿真器：它可以查询本体状态，例如关节位置、速度和力矩；获取传感器数据，例如经过标定的 RGB-D 图像；并发送动作块来控制机器人。
API 请求之间的仿真会暂停，因此智能体不面临实时性压力。除非任务明确提供重置预算，否则不允许重置环境。
当智能体控制机器人时，验证器会在线评估任务进度。在大多数任务套件中，接口会向智能体报告任务成功，并结束该 episode。
Realtime
Realtime 与 Standard 相同，但有一点例外：仿真不会在智能体动作之间暂停，而是保持实时运行。对于计算成本较高的任务，仿真以实时速度的固定比例运行，例如 。
由于计算资源限制，我们目前仅在动态任务上评估 Realtime 设置。附录 C 详细介绍了每种设置。
图 4｜考试中的资源约束。较大的数字和刻度表示各项测试的中位数；对于 GPU 显存，中位数仅针对预留了 GPU 的测试计算。线段表示数值范围，深色方框表示处于中间 50% 的测试。
2.2 编程智能体的资源约束
如图 4 所示，我们为每项任务设定资源约束：为智能体设定时间限制和 token 预算；为机器人设定重置预算，以及某些任务中的步数限制，例如图 4 中 RoboDojo 自身的限制，或指令中说明的 episode 长度上限；同时设定 CPU、内存、GPU 显存和磁盘的上限。
Token 预算足够高，没有任何一次尝试达到这一上限。同一任务在所有设置下的时间限制相同；时间耗尽时，我们会停止智能体，并对其当时的结果进行评分。
在 Privileged 设置下，重置次数不受限制。在 Standard 和 Realtime 设置下，除非任务提供重置预算，否则不能重置环境。有 9 个任务套件提供重置预算，次数为 3 至 50 次。
我们根据每项任务测得的需求设定计算资源上限，并在整个运行过程中监控资源使用情况，见附录 C。
我们观察到，在不同的资源约束和评估设置下，编程智能体可能选择不同的控制方式，如图 2 和第 3.5 节所示。例如，如果我们提供 GPU，智能体就可以训练一个策略来控制机器人，如图 19 所示。
为本次考试构建的 9 个套件，共 411 项任务：
从现有基准适配的 26 个套件，共 745 项任务：
LIBERO-MAX、RoboLab、MetaWorld+、VLABench、ManiGuard、EmbodiedSWE、AutoBio、LabUtopia、MolmoSpaces、RoboDojo、RoboTwin 2.0、ABC Sim、RoboWits、YAMLab、BEHAVIOR-1K、RoboCasa365、RoboCasa、KinDER、RoboCasa-GR1、BiGym 2.0、HumanoidBench、DexToolBench、DexJoCo、MyoSuite、MuJoCo Playground、AM-Bench。
2.3 任务套件
本次考试包含 35 个套件中的 1,156 项任务。一个套件是在同一仿真器中运行的一组相关任务。每项任务都会给出一个目标，通常以自然语言描述，例如解开绳结，或使用灵巧手翻动书页。智能体必须控制机器人达成该目标。
我们为本次考试构建了 9 个套件、共 411 项任务，并从现有机器人基准中适配了另外 26 个套件、共 745 项任务。这些任务合计使用 47 种机器人，覆盖 9 种机器人类型。附录 A 的表 2 列出了每个套件使用的仿真器、机器人以及任务数量。
新套件
我们构建了 9 个新套件，因为适配而来的套件中，针对若干机器人形态和能力的任务较少。这些套件对应的原始基准大多侧重视觉运动策略学习，见第 4 节；其 745 项任务中，有 618 项使用单臂、双臂或移动操作机器人。
图 5｜考试中的任务。左侧展示为本次考试构建的 9 个任务套件，每个套件均给出一帧画面和任务数量，并按照第 2.3 节所述分为三组。右侧展示从现有基准适配而来的 26 个套件各自的一帧画面，按照主要机器人形态排序，从单臂机器人到飞行机器人。
新套件分为三组，对应图 5 中的三行。附录 A.1 介绍了每个套件。
RoboARC、DexHandExam 和 RoboPaint 要求对可变形物体、多部件组件和工具进行接触丰富的操作。
RoboDynamicExam 和两个 Embodied Olympics 套件 涉及运动中的物体和对手，因此智能体必须在正确的时机采取行动。这些套件包含了本次考试中的大部分 Humanoid 任务。
iSpatialGym、Embodied Safety Exam 和 RoboEngineer 测试超越执行给定目标的能力：它们分别仅以图像形式给出目标、将危险请求与无害请求混合，或要求将控制器适配到隐藏的动力学条件。
适配套件
另外 26 个套件来自现有基准，其任务范围包括语言条件下的桌面操作、长时程家庭活动、Humanoid 全身控制、灵巧工具使用、肌肉骨骼控制、空中操作和实验室自动化，见附录 A.2。
对于每个套件，我们保留原始基准的场景、机器人和成功规则；在某些套件中，我们使用了更严格的成功规则。
我们将每项任务的初始状态保存为冻结场景，编写指令，说明智能体无法自行推断的所有约定，并将任务套件接入三种评估设置的接口。
我们还移除了原始基准中的专家策略和示范数据，以防止智能体从其容器中复制已知解法。
核心任务集
我们报告一个由 456 项困难任务组成的核心任务集上的结果，共包含 901 项测试。这是因为同一套件中的任务通常需要相似的技能，而当前智能体已经能够解决其中许多任务。
核心任务集排除了我们判断为简单的任务，以及初始筛选智能体 GPT-6 Luna 已经解决的任务；同时，保留了各任务套件作者要求保留的所有任务。
由于 GPT-6 Luna 与 GPT-6 Astra 属于同一模型家族，这种筛选可能会使核心任务集偏向排除该模型家族能够解决的任务。表 2 给出了每个套件中的核心任务数量。
每项核心任务还有一个默认设置，第 3.2 节的受控实验使用每项核心任务的默认测试。403 项任务默认使用 Standard；53 项对时机要求至关重要的任务默认使用 Realtime。此外，还有 1 项核心任务也包含 Realtime 测试。
其余 700 项任务仍保留在考试中，可以通过相同方式运行。
我们将其中 427 项核心任务划分为多个阶段，例如打开冰箱，见第 3 节。图 6 根据这些阶段的类别对核心任务进行分组，见表 7。
Relation 阶段最为常见，例如放置或组装物体；包含 Dynamic、Body 或 Competition 阶段的大多数任务来自新套件，在 99 项此类任务中占 86 项。
图 6｜按照任务图中的阶段类别划分的核心任务。图中为每个类别展示了一个示例任务。每个位置代表该类别中的一项任务，类别所占角度与其任务数量成正比。如果一项任务的任务图包含多个类别，则该任务会在每个对应类别中各计数一次。
中心显示全部 456 项核心任务；周围位置覆盖其中具有任务图的 427 项任务。没有任务图包含 Safety 或 Information 阶段，因为 Embodied Safety Exam 的任务图将安全规则作为各阶段的条件，见附录 H.1。
456 项核心任务中，255 项来自为本次考试构建的套件，201 项来自适配套件。
3. 分析
我们在核心任务集上评估了 8 个编程智能体，如图 8 所示。第 3.1 节给出它们的成功率，第 3.2 节至第 3.5 节报告四项发现。
一个智能体由模型和 Harness 组成，例如 Codex 或 Claude Code，并采用较高的推理强度。Harness 也是我们测量对象的一部分，见第 3.4 节。
每个智能体对每项测试尝试一次；当验证器判定通过时，即视为解决该测试，见附录 B。成功率为公开排行榜上的结果，见附录 D。
阶段级失败标注
验证器决定一次尝试是否通过，但不会指出错误发生在哪里。因此，我们通过任务图将 456 项核心任务中的 427 项划分为多个阶段，如图 7a 所示。任务图的边给出了各阶段必须达成的顺序。
每个阶段都有一个类型，例如“打开”。这些类型属于九个类别之一，见表 7；每个阶段还标注了所需的接触。图 7b 展示了三次尝试中，有多少个阶段的条件处于满足状态。
一次失败尝试最多对应一个失败阶段：如果发生了跌倒等不可逆事件，则为该事件所在的阶段；否则，为智能体未能纠正的最早错误所在的阶段。
这一错误可能发生在该阶段的前置条件得到满足之前。例如，智能体可能在打开冰箱之前就将番茄掉落。每次失败尝试还最多标注两种失败现象。
例如，Claude Opus 5.5 在搬运牛奶时跌倒，因此它在阶段 4 失败，失败现象是失去平衡。
如果一次尝试满足了某阶段的条件，或在该阶段失败，则视为它到达了该阶段。
我们分析了 8 个智能体在这 427 项任务上的失败尝试。Codex 中的 GPT-6.1 Sol 编写了大多数尝试的标注，Claude Code 中的 Claude Sonnet 5.5 编写了其余尝试的标注；Claude Sonnet 5.5 审核了所有标注文件，见附录 H.1。
图 7｜“将采购物品搬入室内”任务的任务图与进度图，来自 BEHAVIOR-1K。
图（a）给出各阶段、阶段必须达成的顺序，以及每个阶段的类型和接触。图（b）给出三次尝试在被评分 episode 的每个时刻，条件处于满足状态的阶段所占比例。红线标记失败阶段及其失败现象，见附录 H.6。
3.1 总体结果
图 8｜各智能体在核心任务集上的成功率。括号中为解决的测试数量。Harness 中的 dsh 是 DeepSeek Harness，即 DeepSeek 自己的 Harness。
三个智能体各自解决的 Standard 测试数量，都超过其他五个智能体中任何一个的两倍。GPT-6 Astra、Claude Opus 5.5 和 Gemini 4 Argon 分别解决了 456 项 Standard 测试中的 24.1% 至 33.6%，如图 8 所示。我们将它们称为三个最强智能体，将另外五个称为较弱智能体。
Realtime Setting 比 Standard Setting 更难。在同时具有两种测试的 54 项任务上，GPT-6 Astra 解决了 23 项 Standard 测试和 17 项 Realtime 测试；Claude Opus 5.5 分别解决了 10 项和 4 项；Gemini 4 Argon 分别解决了 15 项和 5 项。这些 Realtime 测试中，63% 没有任何智能体能够解决；相比之下，相同任务的 Standard 测试中，这一比例为 50%。
三个最强智能体合计解决了 48% 的 Standard 测试。图 9 展示了每次尝试的结果。在 Standard Setting 下，Claude Opus 5.5 和 Gemini 4 Argon 解决了许多 GPT-6 Astra 失败的测试；而在 Privileged Setting 下，GPT-6 Astra 单独一者就解决了几乎所有至少有一个智能体能够解决的测试。
五个较弱智能体在两种设置下都只额外解决了少量测试。第 3.4 节进一步分析了各智能体解决了哪些测试。
在具有至少 5 项 Standard 测试的任务套件中，大多数套件至少有一半测试没有被三个最强智能体中的任何一个解决。22 个此类套件中有 14 个符合这一情况。在具有至少 5 项 Privileged 测试的 20 个套件中，只有 HumanoidBench 符合这一情况，如图 10 所示。
对三个最强智能体取平均后，有 10 个 Privileged 套件的成功率达到至少 70%；而 Standard 套件中没有一个达到这一水平。
图 9｜核心 Privileged 和 Standard 测试中的每一次尝试。智能体顺序与图 8 相同。已解决的测试根据单次尝试成本，即标价，使用不同深浅表示；未解决的测试单独标记。
图 10｜各套件的成功率。图中展示了在对应设置下拥有至少 5 项核心测试的套件。圆点表示三个最强智能体各自的成功率，条形表示三个智能体均未能解决的测试占比。RoboARC 中的 IKEA 组装任务作为一个独立套件统计。
3.2 从 Privileged 到 Standard，是什么导致了性能下降？
要点：Privileged 与 Standard- 对 GPT-6 Astra 而言，重置环境的帮助大于获取物体精确状态的帮助。重置将成功率从 28% 提高至 53%，提供精确状态则将其提高至 45%。
- 在 Standard Setting 下，需要精确操作的阶段变得困难得多。这类阶段的失败率上升了 24 至 46 个百分点，而粗粒度阶段上升了 1 至 20 个百分点。
- 在需要精确操作的阶段，重置环境对 GPT-6 Astra 有帮助，而仅提供精确状态没有帮助。对于它在这些阶段的失败，仅隐藏成功信号的实验解决了其中的 19%，提供精确状态的实验解决了 21%，提供重置的实验解决了 36%。
图 11 将同时具有 Privileged 和 Standard 测试的 391 项核心任务进行配对。GPT-6 Astra 在 Privileged Setting 下解决了其中 303 项任务，但其中有 191 项在 Standard Setting 下失败。
它仅在 Standard Setting 下解决了 4 项任务，两种情况合计解决了 116 项 Standard 测试，占 30%。在拥有至少 5 项此类任务的 20 个套件中，它的成功率全部下降。
Standard Setting 缺少的两个条件分别是：每个物体的精确状态，以及无限次重置。
增加重置能力比增加精确状态能够缩小更多差距。在针对 Codex 中 GPT-6 Astra 的受控实验里，我们在 Standard 接口上增加以下两个功能中的一个或两个：查询每个物体的精确状态，以及支持保存状态的无限次重置，如图 12a 和附录 G 所示。
在同时具有两种设置的 391 项核心任务上：
提供精确状态后，成功率从 28% 上升至 45%；
提供重置后，成功率上升至 53%；
同时提供两者后，成功率上升至 68%。
这些任务的 Privileged 测试成功率为 77%。
在允许重置的情况下，66% 的成功发生在从已保存状态开始的 episode 中。这意味着智能体可以重试困难阶段，而不必从头重复整个任务，见附录 E.1。
图 11｜同时具有 Privileged 和 Standard 测试的 391 项核心任务。对于每个智能体，按照其在哪些设置下解决任务进行划分：两种设置均解决、仅 Privileged 解决、仅 Standard 解决、两种设置均未解决。
图 12｜状态、重置与阶段失败率。
需要精确操作的阶段在 Standard Setting 下更容易失败。根据 8 个智能体的阶段标注，我们计算每种阶段类型在各设置下的失败率：以该类型中尝试失败的阶段数量，除以尝试到达的该类型阶段数量。我们在每个套件内部比较两种设置，如图 12b 所示。
如果一个阶段需要紧密配合、到达目标位姿或路径，或者与运动物体接触，则将其归为精确操作阶段；如果只需要到达某个区域或容器、完成抓取，或改变机构的状态，则将其归为粗粒度阶段，见附录 H.5。
在至少两个套件中进行比较的阶段类型中，精确操作阶段的失败率上升了 24 至 46 个百分点，粗粒度阶段上升了 1 至 20 个百分点。例如，组装阶段的失败率从 34% 上升至 80%，放置阶段则从 23% 上升至 35%。
如果只统计同一个智能体在同一项任务的两种设置下都到达的阶段，两组之间的差异仍然显著：精确操作阶段上升 25 个百分点，粗粒度阶段上升 15 个百分点，见附录 E.1。
图 13 展示了一个在 Standard Setting 下失败的精确操作阶段。在该案例中，Claude Opus 5.5 持握的风扇前护罩与风扇轴线偏离了 36 至 39 度，而安装时允许的偏差为 5 度；继续推动护罩会使整个风扇移动。附录 H.6 给出了完整尝试过程，以及另外两个配对示例，见图 33。
图 13｜Claude Opus 5.5 在 Privileged 和 Standard 设置下安装风扇前护罩，来自 DexHandExam。红色标记指出 Standard 尝试出错的位置。时间以 Standard episode 回放中的秒数表示。
在精确操作阶段，重置环境对 GPT-6 Astra 有帮助，而仅提供精确状态没有帮助。我们取出 GPT-6 Astra 在基线实验中失败的 Standard 测试，按照其失败阶段的类型进行分组，如图 12c 所示。
其中部分失败在任何第二次尝试中都可能成功。为了估计这一数量，我们使用了一组既不增加精确状态、也不增加重置功能，而只是隐藏成功信号的实验。
在精确操作阶段的 91 次失败中：
仅隐藏成功信号的实验解决了 19%；
提供精确状态的实验解决了 21%；
提供重置的实验解决了 36%。
在提供重置的实验中，33 次成功里有 31 次发生在重置或恢复状态之后。
因此，相比不提供成功信号的实验，提供精确状态大约多解决了这 91 次失败中的 2 次；提供重置则大约多解决了 16 次。
相比之下，在粗粒度阶段的 97 次失败中，仅提供精确状态就解决了 34%，而不提供成功信号的实验解决了 14%，见附录 E.1。
3.3 智能体在任务的哪个阶段失败？
要点：智能体在哪里失败
同一任务中的失败往往发生在相同阶段。对于三个最强智能体，一项测试中失败尝试两两配对后，平均有 56% 的失败对发生在相同阶段；随机情况下为 31%。
这一阶段在 Privileged 和 Standard 设置下也往往相同。排除两种设置下最常见失败阶段均为第一阶段的任务后，仍有 57% 的任务在两种设置下的最常见失败阶段一致；随机情况下为 9%。
改变材料状态或移动机器人身体的阶段具有最高失败率。一旦到达这两类阶段，其失败率分别为 66% 和 45%。
同一任务中的失败往往发生在相同阶段。我们使用失败阶段集中度来衡量这一现象，如图 14a 所示。
对于每项测试，集中度定义为：来自不同智能体的失败尝试两两配对后，在相同阶段失败的配对所占比例。我们使用已定位失败阶段的尝试，并在各测试上对这一比例取平均。
基线则随机抽取每次失败所处的阶段；任务中每个相对位置被抽中的概率，取自同一设置下其他任务的失败情况，见附录 H.5。
在 8 个智能体中，Standard Setting 下的集中度为 61%，而基线为 37%。五个较弱智能体经常在尚未到达任务的任何阶段时就失败，见第 3.4 节，因此，这种一致性中很大一部分可能来自第一阶段的失败。
因此，我们单独检查三个最强智能体。在它们至少有两次已定位失败的 217 项 Standard 测试中，集中度为 56%；根据它们在其他 Standard 任务上的失败构建的基线则为 31%。
一项测试最常见的失败阶段通常是任务的第一阶段：在失败具有唯一最常见阶段的 264 项 Standard 测试中，65% 的测试最常见失败阶段是第一阶段，见附录 E.2。
图 15 展示了一个并非第一阶段、但多个智能体共同失败的阶段。在 Standard Setting 下，全部 8 个智能体都未能通过这项测试，其中 7 个智能体用杯子接住了抛来的球，却在再次接球时以不同方式失败。
在附录 H.6 的图 32 中，三个最强智能体都将三节电池中的第一节放入容器，随后在前往第二节电池的途中使机器人倾倒；而五个较弱智能体中有四个在第一节电池处就失败了。
图 14｜失败阶段与阶段失败率。
图 15｜两次接球，来自 RoboDynamicExam。图中展示每个智能体在各设置下的一次尝试到达了哪些阶段、在哪个阶段失败，并展示了 Standard 回放中三次在阶段 2 失败的画面。
任务包含三个阶段：
接住飞来的球。
在球穿过槽口并反弹后再次接住球。
将球倒入移动中的小车。
在阶段 2 的三个失败示例中，GPT-6 Astra 的杯子撞到了斜坡；Claude Opus 5.5 的杯子位置过高，无法接住球；Gemini 4 Argon 的杯子撞到了槽口。
智能体失败的阶段在两种设置下也往往相同。我们选取了 188 项任务：这些任务在 Privileged 和 Standard 两种设置下的失败都具有唯一的最常见失败阶段。
其中 105 项任务在两种设置下的最常见失败阶段均为第一阶段，我们将这些任务排除。在剩余的 83 项任务中，47 项，即 57%，在两种设置下具有相同的最常见失败阶段，如图 14a 所示。
如果按照上述方法随机抽取各设置中的失败阶段，并同样排除两种设置下最常见失败阶段均为第一阶段的抽样结果，这一比例将为 9%，见附录 H.5。
改变材料状态或移动机器人身体的阶段具有最高失败率，如图 14b 所示。某一阶段类别的失败率，定义为尝试在该类别阶段失败的数量，除以尝试到达该类别阶段的数量；这里合并了 Privileged 和 Standard 两种设置。
例如，擦拭等 Material 阶段的失败率为 66%，行走等 Body 阶段为 45%，开门等 Mechanism 阶段为 20%。
每个类别主要出现在特定套件中，并对应特定机器人，因此这些失败率并不能证明失败是由阶段类别本身造成的，见附录 E.2。
3.4 不同智能体有何差异？
要点：智能体之间的差异
与更强的智能体相比，较弱智能体更容易在建立所需接触之前失败。五个较弱智能体在 9.1% 至 18.5% 的接触阶段出现这种失败，三个最强智能体的比例为 2.7% 至 3.7%。
在 Standard Setting 下，三个最强智能体解决的测试集合部分不同。Claude Opus 5.5 和 Gemini 4 Argon 合计解决了 64 项 GPT-6 Astra 未能解决的测试。
切换 Harness 可使模型成功率变化最多 12 个百分点。在 456 项 Standard 核心测试上，GPT-6 Astra 在自己的 Codex 中解决了 34%，在 Claude Code 中解决了 22%。
图 16｜智能体失败特征、解决测试的重叠情况，以及不同 Harness 的影响。
五个较弱智能体更容易在没有建立所需接触的情况下失败。在图 16a 的失败特征中，这种情况占它们 Standard 和 Realtime 失败尝试的 17% 至 24%，而三个最强智能体的比例为 7% 至 10%。
对于至少包含两个阶段的任务，在它们失败的 Standard 尝试中，较弱智能体有 44% 至 64% 的尝试没有到达任何阶段；三个最强智能体的比例为 27% 至 36%，见表 19。
如果按它们到达的每个接触阶段计算，较弱智能体在 9.1% 至 18.5% 的阶段中因未能建立接触而失败，而三个最强智能体的比例为 2.7% 至 3.7%，见表 19。
图 17 展示了一项 BEHAVIOR-1K 测试：准备午餐盒。8 个智能体在 Standard Setting 下全部失败。三个最强智能体分别装入了三种或四种食物，Kimi 3.1 Pro 装入了两种，而另外四个较弱智能体一种也没有装入。
附录 H.6 介绍了这些尝试，以及另外两项测试，见图 31。负责大部分标注的 GPT-6.1 Sol 与 GPT-6 Astra 属于同一模型家族，这可能使这些比较产生偏差，见附录 H.5。
图 17｜准备午餐盒，来自 BEHAVIOR-1K，Standard Setting。图中展示四次失败尝试的头部相机画面，并圈出了失败位置。
三个最强智能体成功解决的测试部分不同。在 Standard Setting 下，没有任何一个智能体解决的测试集合是另一个智能体解决集合的子集，如图 16b 所示。
GPT-6 Astra 解决了 Claude Opus 5.5 已解决 Standard 测试中的 59%，以及 Gemini 4 Argon 已解决 Standard 测试中的 66%。在 Privileged Setting 下，这两个比例分别为 92% 和 95%，见图 23。
Claude Opus 5.5 和 Gemini 4 Argon 合计解决了 64 项 GPT-6 Astra 失败的 Standard 测试。由于每个智能体对每项测试只尝试一次，这种差异中有一部分可能来自不同运行之间的波动。
在至少一个较弱智能体解决的 69 项 Standard 测试中，三个最强智能体解决了其中 65 项。对于每个较弱智能体，其解决的测试中有 93% 至 100% 也被图 8 中排在它之前的至少一个智能体解决，如图 16b 的最后一列所示，见附录 E.3。
Harness 也会改变结果，如图 16c 所示。我们在 Claude Code 中运行 GPT-6 Astra，在 Codex 中运行 Claude Opus 5.5，并在两者中都运行 Gemini 4 Argon。
在 456 项 Standard 核心测试上：
GPT-6 Astra 在 Codex 中解决了 34%，在 Claude Code 中解决了 22%。
Gemini 4 Argon 在 Codex 中解决了 29%，在 Claude Code 中解决了 25%，在自己的 Antigravity CLI 中解决了 24%。
Claude Opus 5.5 在 Codex 中解决了 26%，在 Claude Code 中解决了 25%。
跨供应商运行通过适配器完成，见附录 G。当 Gemini 的内容过滤器阻止一条回复时，Antigravity CLI 会结束会话；这可能解释 Gemini 4 Argon 的部分性能差距，见附录 E.3。
3.5 智能体使用哪种控制方式？
要点：智能体如何控制机器人
在一项足球任务的 Standard 和 Realtime 设置下，当智能体获得 GPU 和训练库时，它们会训练策略；只有经过训练的策略赢得了比赛。
在 Standard Setting 下，智能体主要直接控制机器人。在抽样的 Standard 尝试中，这种方式占 61%。
在 Privileged 和 Realtime 设置下，智能体主要编写程序来控制机器人。这种方式分别占抽样的 Privileged 尝试的 82% 和 Realtime 尝试的 97%。
图 18｜控制方式与足球任务结果。
在一项足球任务的 Standard 和 Realtime 设置下，当智能体获得 GPU 和训练库时，它们会训练策略；只有经过训练的策略赢得了比赛。
Embodied Olympics - Match 中的足球比赛有两个版本，两者使用相同的冻结场景和对手，如图 18b 所示。在两个版本中，智能体都要逐关节控制两个 Humanoid，因此需要一个行走步态。
GPU 版本额外提供 GPU、RL 库、用于训练的比赛 GPU 副本，以及指令中的一个训练示例。在这个版本上，Standard Setting 下的 12 次尝试中有 10 次使用 RL 训练了策略；Realtime Setting 下的 8 次尝试中有 7 次训练了策略。
Standard Setting 下有 3 次尝试获胜，Realtime Setting 下有 1 次获胜；这些获胜尝试全部使用了训练得到的策略。
在 CPU 版本中，智能体手写步态；12 次 Standard 尝试和 8 次 Realtime 尝试中，没有任何一次获胜。
Standard 的统计包含 Harness 对比实验，因此部分模型出现了不止一次，见表 4。在 Privileged Setting 下，智能体也在 CPU 版本中获胜，但其中每一次获胜都复用了对手的行走网络。
这两个版本在多个方面存在差异，因此仅凭这一项任务，无法确定究竟是哪一项差异起了作用。
例如，GPT-6 Astra 在有 GPU 时训练了策略，并以 10∶8 获胜；没有 GPU 时，它调整手写步态，并以 3∶13 落败，如图 19 所示。
在 Standard Setting 下，智能体主要直接控制机器人；在 Privileged 和 Realtime 设置下，它们主要编写程序，如图 18a 所示。一个编程智能体对抽样的 1,489 次尝试所采用的控制方式进行了标注，见附录 E.4。
在请求之间会暂停仿真的 Standard Setting 下，61% 的抽样尝试每次发送一个动作块，并在选择下一个动作块之前查看相机图像或传感器读数。
在能够获取完整状态的 Privileged Setting 下，82% 的尝试通过程序计算运动。在时间持续流逝的 Realtime Setting 下，97% 的尝试使用程序，其中 82% 的尝试由程序运行控制循环。
在这 1,489 次尝试中，有 6 次被标注为训练策略。
图 19｜Codex 中的 GPT-6 Astra 在 Standard Setting 下完成两个版本的足球任务。每行给出所采用的方法和结果、两帧回放画面，以及比赛过程中双方的进球数。
4. 相关工作
本节回顾与本文最相关的研究方向。附录 K 提供了更广泛的综述。
编程智能体基准。编程智能体和其他语言模型智能体主要在数字任务上进行评估，例如解决真实代码仓库中的问题、在终端中完成任务、开展机器学习工程与研究，以及操作网站和桌面应用程序。
模型与计算机之间的接口会影响智能体的成功率；还有研究衡量智能体利用评分测试漏洞的频率。Embodied First Exam 将这些评估扩展到了机器人任务。在 Standard 和 Realtime 设置下，智能体必须理解传感器观测，而且通常无法撤销动作。在所有设置中，每次尝试都由一个智能体无法修改的程序进行评分。
面向机器人的语言模型。语言模型已被用于将技能排序为计划、编写调用感知与控制原语的机器人程序、指定由规划器转化为运动的价值图或关键点约束，以及编写奖励函数。
这些系统大多为模型配备专门设计的接口。Embodied First Exam 评估未经修改的通用编程智能体完成整个闭环的能力：阅读接口、选择控制方式、执行控制并作出调整。
在面向语言模型的具身基准中，模型从基准定义的动作空间中选择动作。本次考试则向智能体提供机器人的控制接口，因此智能体还要决定如何生成动作。
Agentic Robots 及其 Harness。近期研究采用图 2 中的三种控制方式，将通用智能体应用于机器人。
在直接控制方面，GPT-6 Astra 在操作基准上充当策略。在编写代码进行控制方面，编程智能体为仿真机器人和真实机器人编写程序，通常还会使用技能库或其他附加工具。在训练策略进行控制方面，智能体在真实世界或仿真中训练策略。
这些研究大多预先固定控制方式。本次考试支持上述三种方式，并将选择权交给智能体。
这些智能体使用的 Harness 在多个方面有所不同：提供的动作接口、是否允许智能体将已学习策略作为工具调用，以及为跟踪状态和检查结果提供的支持。
本次考试使用未经修改的 Harness 运行其自身供应商的模型，并通过适配器运行其他供应商的模型，见附录 G，从而可以在相同任务上比较不同 Harness。
机器人基准。大多数机器人基准侧重视觉运动策略学习，在操作、家庭和 Humanoid 任务上评估已学习策略，例如 VLA。
已学习策略只能接收一组固定的观测。编程智能体则可以在其计算机上运行任意程序，因此，本次考试增加了有关智能体可访问内容的规则，见第 2.1 节，并适配了 26 个现有基准，见附录 A.2。
面向 Agentic Robots 的基准也已出现。CaP-X 改变了编程智能体组合使用的原语的抽象层级；RobotWorld 涵盖操作、移动、驾驶和飞行控制；EmbodiedSWE 和 BiGym 2.0 则在灵巧操作和 Humanoid 任务上评估编程智能体。
Embodied First Exam 涵盖 9 种类型的 47 种机器人。它还区分了智能体在完全访问仿真器时能够做到什么，以及仅通过机器人传感器能够做到什么。
5. 结论
我们提出了 Embodied First Exam：一个统一的评估框架，能够将任意编程智能体连接到仿真机器人，并允许智能体通过三种方式执行动作。该考试包含 47 种机器人上的 1,156 项任务。
在同时具有两种设置的 391 项困难核心任务上，最强智能体在 Privileged Setting 下的成功率为 77%，但在 Standard Setting 下仅为 30%。
在针对该智能体的受控实验中，增加无限次重置比增加物体精确状态能够缩小更多差距；在需要精确操作的阶段，重置有所帮助，而仅提供精确状态没有帮助。
同一任务中的失败往往发生在相同阶段；与更强的智能体相比，较弱智能体更容易在建立所需接触之前失败。在一项足球任务的 Standard 和 Realtime 设置下，当智能体获得 GPU 和训练库时，它们会训练策略，而只有经过训练的策略赢得了比赛。
当最强智能体能够完全访问仿真器时，它已经可以解决大多数任务；但在旨在模拟真实机器人部署与测试方式的 Standard 和 Realtime 设置下，它仍有很大的提升空间。
未来工作
对每项核心测试运行多次，可以区分智能体反复出现的失败与单次运行中的失败，也能为智能体之间以及不同设置之间的比较提供置信区间。
我们还将增加更多 Realtime 任务，因为在 Realtime Setting 下，没有任何智能体能够解决的测试所占比例最高。
最后，由于 Standard Setting 只向智能体提供机器人的传感器读数和控制接口，一旦有办法对结果进行评分，相同接口也可以用于实体硬件。
在初步演示中，两个智能体使用真实机械臂完成了导线接触游戏，见附录 I。我们计划通过这一接口系统地评估智能体在真实机器人上的表现。
局限性
每个智能体对每项测试只尝试一次；阶段级标注和控制方式标注由智能体生成；所有结果均来自仿真。附录 J 讨论了这些局限以及其他局限。
来源：human five
