GPT-6 Astra、Claude Fable 5.2 等通用大模型开始进入机器人控制领域后，具身 Benchmark 也出现了一些新变化。过去主要由 VLA、Robot Foundation Model 参与的评测，现在开始出现 Coding Agent 直接编写控制代码、调用机器人接口，通过视觉反馈完成操作的身影。
模型能力在快速提升，部分榜单的成绩也在持续攀升。但这些分数究竟反映了模型真实的机器人能力，还是评测协议本身留下了可以利用的空间？
最近有开源研究团队重新审视 Robot-Use Agent 的评测问题。针对传统具身榜单提出三个漏洞：执行预算不公平、模拟器向 Agent 泄露任务完成信息，以及针对测试任务开发的 Skills 被直接带入评测。
原本围绕 Policy 执行范式建立的部分 Benchmark，在面对能够自主决策、调用工具和编写代码的 Agent 时，已经暴露出评测协议上的局限。
Guanya Shi 在近期的分享《Agentic Robotics Self-Improvement》中展示了 ENPIRE 和 SimEX，让 Agent 参与失败分析、实验设计、策略修改和效果验证。Simulation 可以成为 Agent 探索操作方法、验证假设的 Research Environment，Evaluation 则为后续实验提供持续反馈。机器人研究从一次次训练和测试，走向更长周期的自主实验与改进。
具身 Benchmark 的作用，已经不只是比较模型能完成多少任务。仿真能否支撑可信实验，评测能否准确识别模型的能力缺口，以及这些反馈能否进一步推动模型和仿真环境的改进，正在成为下一代具身评测体系需要回答的问题。
RoboColiseum 最新技术报告《RoboColiseum: Co-evolution of Simulation, Evaluation, and Models》正是围绕这些问题展开的一次系统性探索。报告将仿真可信度、可组合的物理与渲染架构，以及多维度模型能力评测放进同一套技术框架：从机器人与物体的系统辨识、Real2Sim 验证入手，建立多物理后端和刚柔交互仿真环境，再通过 Season Ⅰ、Season Ⅱ 扩展能力评测维度，并对 Agent 与 VLA/WAM 两类技术路线进行实验比较。
从仿真环境是否可信，到模型能力如何衡量，再到评测结果如何反过来推动模型迭代，这也是理解 RoboColiseum 这项工作的一个切入点。
01 仿真与真机之间，还有多大距离？
仿真是具身智能模型训练和评测的重要基础设施。相比真实机器人，仿真环境更容易进行场景重置、任务复现和大规模并行实验，也为不同模型提供了相对统一的测试条件。但机器人操作涉及复杂的物理交互，动力学参数、接触模型、摩擦和控制器设置都会影响最终结果。仿真中的任务表现能否反映真实机器人的能力，仍然需要通过系统性的实验验证。
RoboColiseum 将 System Identification 和 Real2Sim 作为仿真评测的基础工作。研究围绕机器人动力学、物体交互和控制设置展开，通过记录指令回放建立真实与仿真之间的对照，再利用真实机器人上的配对任务评估两者的一致性。
这里有两个需要解决的技术问题：机器人本体的动力学参数如何辨识，以及物体在接触、抓取和交接过程中的运动如何复现。
机器人动力学：从电机电流到关节力矩
RoboColiseum 首先对 G2 crsB 双臂进行动力学辨识。实验采用固定的电流—力矩系数 ，将电机电流与刚体动力学、摩擦、阻尼、等效电枢惯量及偏置联系起来：
其中， 为电机电流， 为刚体动力学力矩，、 和 分别表示类库仑摩擦、黏性阻尼及等效电枢惯量， 为偏置项。
刚体动力学部分进一步表示为：
这里， 为质量矩阵， 表示科氏力与离心力项， 为重力项， 为决定刚体动力学的惯性参数。
摩擦模型使用平滑函数：
其中：
参数辨识采用分阶段策略：先通过匀速激励估计摩擦和阻尼，再利用正弦激励估计等效电枢惯量，最后固定 、 和 ，通过耦合 Fourier 激励拟合刚体惯性参数与偏置。等效电枢惯量在这一过程中也承担了吸收部分模型误差的作用。X5 由于不支持力控，采用简化模型。
参数拟合完成后，研究还需要检查模型能否重建实际运行中的力矩。报告使用电流推算力矩与模型预测力矩之间的残差：
这项检查与关节位置跟踪并不相同。仿真中的无夹爪机器人采用位置 PD 控制，在执行器限幅前计算驱动力矩：
对应的控制参数为：
仿真采用的 和 为位置控制器设置，并非硬件辨识参数。由于位置反馈会持续修正关节偏差，即使动力学模型存在一定误差，也可能获得较好的位置跟踪结果。因此，实验同时考察位置跟踪和关节侧力矩反馈，分别计算 RMSE。
RoboColiseum 还单独处理了传感器读数。仿真中的传感器力矩通过观测器历史进行后处理修正：
其中， 表示观测器历史。这项修正只作用于传感器读数，不改变仿真中的物理受力和控制过程。
电流推算力矩、仿真连杆力矩和关节侧实测反馈属于不同的物理量。逆动力学重建、前向预测和闭环回放也分别检验不同响应。
在 15 次长时序运行、21 个有效关节/激励单元中，位置 RMSE 为：
0.035°–1.002°
报告展示了同一段 60 s Fourier 记录中的位置与关节侧力矩变化，并对 MuJoCo/MJWarp 的仿真一致性及记录内的时间稳定性进行了检查。
物体交互：接触参数如何拟合？
机器人动力学之外，物体交互也需要单独辨识。
RoboColiseum 选择水壶、口香糖盒、海绵、羽毛球和笔五种资产，覆盖物体搬运、等效柔顺接触和交接场景。实验在固定执行设置与质量先验的条件下，通过有界搜索拟合有效接触参数，并在适用时调整几何、质心和初始姿态。
物体位置观测误差采用三维空间中的 RMSE：
其中， 表示有效观测时刻集合， 表示从仿真状态得到的位置观测， 为对应的真实观测。
物体拟合采用的目标函数为：
其中， 为训练阶段的位置观测误差， 为保持阶段的夹爪 RMSE。两个分母用于量纲归一化，并不代表实际测量噪声水平。三维空间中的米制误差与投影图像中的像素误差也分别计算。
针对不同交互场景，RoboColiseum 使用了不同的拟合目标。口香糖盒和海绵的源环境拟合采用保持阶段的夹爪 RMSE；交接任务则结合 RGB 观测、夹爪目标和可行性判据进行优化，以同时约束视觉匹配与实际交互结果。
物体参数拟合受到机器人动力学、几何形状、初始状态和相机标定等因素的共同影响。即使固定机器人执行设置，不同参数之间仍可能相互补偿，因此拟合得到的接触和阻尼值更适合作为当前仿真配置下的有效参数。
在原生 PhysX 适配实验中，羽毛球的交接误差有所增大，笔的改善幅度则小于标注不确定性。羽毛球仅有三个有效深度点。此外，报告尚未完整归档候选参数网格、掩码及选择规则，因此目前还无法进一步判断参数搜索是否达到全局最优。
Recorded-command Replay：让物体自己运动
系统辨识还需要落实到实际回放过程中。
RoboColiseum 使用 Recorded-command Replay，将真实机器人记录的关节及夹爪位置目标输入仿真环境。这里的关键是保持执行条件，同时让仿真引擎自行计算物体的运动。
以抓取任务为例，机器人接收到记录的关节目标，夹爪按照记录的目标位置运动。物体在仿真中受到接触力、摩擦和重力作用，最终运动轨迹由物理引擎计算。
RoboColiseum 的 G2 物体回放实验采用约 100 Hz 的关节和夹爪位置目标更新频率，物理子步为 1 ms。实验分别考察源环境拟合、冻结参数迁移和原生 PhysX 适配；海绵重拟合则单独处理。
Real2Sim：16 项任务、22 组配对实验
前面的系统辨识和回放工作，最终需要通过真实机器人上的实验检验。
RoboColiseum 开展了 Real2Sim 配对实验，覆盖 16 项任务、22 组机器人—任务配对配置，比较真实机器人和仿真中的任务表现。不同任务沿用各自对应的 Score 定义。
真实与仿真任务得分的 Pearson 相关系数达到 0.9686。在 16 项任务、22 组机器人—任务配对实验中，两者的得分呈现出很强的线性相关性。这为 RoboColiseum 使用仿真开展模型评测提供了实验依据，也为后续扩展不同机器人本体和交互场景提供了参考。
02 仿真引擎，为什么需要组合起来？
桌面抓取和叠衣服，对仿真引擎的要求完全不同。前者主要处理刚体运动、碰撞和接触；后者需要计算布料弯曲、折叠以及与机器人之间的持续接触。折纸还涉及塑性形变，垃圾袋则需要处理袋体拉伸、褶皱和抽绳操作。
任务类型不断扩展，物理求解器也很难继续由单一方案包办。RoboColiseum 采用多后端组合架构，将 PhysX、Newton、MuJoCo 和 libuipc 接入同一套仿真协议。不同引擎承担各自擅长的物理计算，控制接口和状态交换则保持统一。
物理引擎与渲染系统分开运行
RoboColiseum Protocol 负责连接控制、物理状态演化和视觉观测生成。协议交换的信息包括控制指令、关节状态、刚体位姿、仿真时间及形变几何更新。物理端维护场景状态，渲染端读取状态并生成图像，场景元数据负责关联物理实体与对应的视觉表示。
这样处理后，物理模型和视觉配置可以分别选择。同一套物理场景可以搭配不同的相机、材质和外观设置，渲染端的调整也不需要改变底层动力学。
各物理后端通过适配器接入协议。适配器负责初始化、指令执行、仿真步进、状态读取和场景重置；场景组装模块则准备资产与资源清单，并完成不同引擎所需的格式转换。独立进程用于隔离不同组件的运行依赖，也允许物理计算与视觉渲染采用不同的更新频率。
目前接入的后端承担着不同职责：
其中，libuipc 是这套架构中处理柔性物体交互的主要组件。
libuipc：不同材料采用不同的物理模型
布料、纸张和袋状物虽然都属于柔性物体，但它们的形变机制并不相同。布料需要处理弯曲和拉伸，纸张折叠后可能留下不可逆的折痕，袋状物则涉及复杂的褶皱、自接触和拉伸。
RoboColiseum 根据材料和几何结构选择不同的模型。布料与袋状物采用三角壳模型；纸张折痕通过塑性弯曲建模；体积软体使用基于稳定 Neo-Hookean 本构的四面体有限元模型；刚体则采用仿射体动力学。
不同物体采用不同的建模方式：布料和袋状物使用三角壳模型，体积软体采用基于稳定 Neo-Hookean 本构的四面体有限元模型，刚体则使用仿射体动力学。对于纸张，系统引入塑性弯曲，使其在折叠后能够保留形成的折痕。
物理求解使用的几何网格与最终渲染的视觉网格也需要对应。libuipc 通过几何映射，将求解得到的位置更新传回原始视觉网格，使物理计算产生的形变能够呈现在渲染结果中。
抽垃圾袋是一个比较直观的演示。
机器人需要展开袋体，接触并操作垃圾袋，随后收拢袋口、拉动抽绳。袋体在操作过程中不断发生拉伸、折叠和局部形变，机器人还需要在形状持续变化的情况下维持接触。
这类任务与普通抓取有很大区别。物体没有固定的刚性几何形状，夹爪接触的位置和方向会改变袋体的整体形态。机器人需要处理的对象也不再是一个可以简单用刚体位姿描述的物体。
报告还展示了叠布、折纸、衣架操作和束口袋操作等场景，覆盖不同材料和操作方式。
MuJoCo 与 IPC：机器人如何驱动柔性物体？
在 MuJoCo 与 libuipc 的组合仿真中，RoboColiseum 采用 CPU MuJoCo 进程与 IPC（进程间通信）协同执行。CPU MuJoCo 负责机器人动力学计算，以及配置的机器人与静态环境之间的接触；机器人各连杆的位姿和速度通过 IPC 传递给柔性仿真进程，由后者计算动态任务物体的运动及柔性接触。这里采用单向耦合，MuJoCo 将机器人运动状态传递给 IPC，由 IPC 计算柔性物体的运动和形变；但 IPC 产生的接触力不会反馈到 MuJoCo。机器人可以推动、拉扯柔性物体并使其发生形变，物体受到的反作用力则不会进一步影响机器人的运动。
03 具身能力，不应该只有一个成功率
具身智能模型的能力范围正在扩大，Benchmark 的任务设计也需要跟着变化。
早期的机器人操作评测，通常围绕指令执行、空间关系理解、物体抓取和环境扰动展开。这些任务能够覆盖 VLA 模型的基础操作能力，但随着模型开始处理更复杂的交互，仅靠几个固定任务的成功率，已经很难完整描述模型之间的差异。
一个模型能够完成桌面物体抓取，不代表它能够使用灵巧手操作剪刀；能够控制机械臂完成物体放置，也不代表它能够协调移动底盘、躯干和双臂；在一种机器人本体上训练得到的策略，换到另一种本体后也可能出现明显的性能变化。
RoboColiseum 将评测体系划分为 Season I 和 Season II。前者覆盖指令遵循、空间推理、通用操作和抗扰动四个基础维度；Season II 则增加灵巧手操作、全身协同、精细操作和跨本体迁移，进一步考察更复杂的机器人交互能力。
从基础操作到更复杂的具身能力
Season I 包含四个 Track。
指令遵循考察模型能否根据语言指令选择正确的物体，并执行对应操作。模型需要将语言中的目标和动作要求转化为具体的机器人控制行为。
空间推理关注物体之间的相对位置、朝向和空间关系。任务要求模型理解场景中的几何关系，并据此确定操作目标和动作。
通用操作覆盖常见物体交互和多步骤操作，主要考察模型在不同任务中的操作执行能力。
抗扰动则通过改变物体外观和环境条件，观察模型能否在场景变化后保持任务表现。
这四个 Track 为 VLA、WAM 和模型驱动的 Agent 提供了共同的基础评测维度。随着任务难度和模型能力继续扩展，RoboColiseum 在 Season II 中增加了四类新的任务套件。
Season II：把灵巧手、全身协同和跨本体纳入评测
Season II 的变化比较明显：评测开始覆盖更多传统桌面操作以外的能力。
灵巧手操作是其中很有代表性的一类。
搭载 Wuji 灵巧手的 G2 平台被用于这一套件，任务包括剪刀操作、取书、双手搬运包裹、盖杯盖和叠碗等。它们考察的内容涉及多指抓取、手指构型选择、抓取后的持续操作，以及双手之间的协调。
以剪刀操作为例，机器人需要让拇指和另一根手指分别进入剪刀的两个手柄孔，再通过手指协调运动驱动剪刀开合。这个过程要求手指进入特定几何结构，并在持续接触中控制工具运动。普通平行夹爪可以夹住剪刀，却无法完成相同的入环和驱动动作。
取书任务则把操作空间进一步压缩。机器人需要将手伸入密集书架，调整目标书本的倾斜角度，再将其抽出。过程中既要选择合适的接触位置，也要处理书本与相邻物体之间的空间约束。
叠碗要求手指进入碗内提供支撑，随后双手协调完成提起和放置。盖杯盖需要经历抓取、接近、对齐和放置等连续动作。包裹搬运则考察双手如何共同控制同一个物体。
这些任务对抓取的要求已经超出了单纯建立稳定接触。模型还需要根据物体几何选择手指构型，并在操作过程中持续调整接触关系。
全身协同将移动底盘、姿态调整与机械臂操作连接起来。机器人需要在移动和操作之间协调动作，任务执行过程也因此从相对固定的操作空间扩展到身体多个部分共同参与的连续过程。
精细操作进一步关注物体接触、对齐和动作控制的精度。投硬币、盖笔帽等任务需要机器人处理较小的操作目标，对接近方向、抓持方式和末端动作提出更高要求。
跨本体迁移则关注同一类任务在不同机器人本体上的执行表现。不同机器人在可达范围、末端执行器几何和相机布局上存在差异，模型需要适应这些变化，才能在新的本体上完成对应操作。
这四类新增任务将评测范围从基础物体操作扩展到多指操作、移动与操作协同、精细接触以及跨机器人迁移，为观察不同模型的专项优势提供了更多维度。
Agent 和 Policy，应该怎样比较？
任务维度扩展后，评测执行方式也出现了新的问题。
传统 Policy 通常根据模型输出的 Action Chunk 连续执行一段动作，再根据新的观察生成下一段动作。Agent 则可以在执行过程中反复观察环境、调用模型进行推理、修改控制代码，甚至重新规划执行过程。
两种方案的执行方式和资源消耗差异很大。如果只比较最终任务得分，Agent 可以通过更多轮推理和反复尝试争取更高的成功率，Policy 则通常按照既定动作预测和执行流程完成任务。
RoboColiseum 因此将 Agent 与 VLA/WAM Policy 方案分开管理，分别建立榜单，尽量保证同类执行范式之间的比较具有可比性。
这里还有一个问题：即使测试任务完全相同，模型也可能通过提前接触测试布局、针对特定任务开发 Skills 等方式获得优势。为降低这种风险，RoboColiseum 设置了三层评测机制。
隐藏测试集
开源任务布局与测试服务器上的任务布局遵循相同分布，但具体实例不同。研究者可以利用开源布局进行方案开发和调试，正式测试则使用服务器上的隐藏实例。
动态隐藏测试集
测试服务器将测试集划分为正式集和动态集。正式集在每次运行中保持一致，动态集则随每次提交发生变化。
动态集得分不计入总分，而是与正式集得分进行对照。如果两者之间的差异过大，说明方案可能对固定测试实例存在较强依赖，平台将限制其上榜。
人工审核
人工审核用于识别利用特权信息或通过评测 Hack 影响结果的行为。隐藏测试集和动态测试集能够增加测试难度，但仍然无法覆盖所有可能的评测漏洞，人工审核因此作为额外的检查机制。
不只看任务得分，还要计算执行成本
Agent 的多轮推理能力让执行预算成为评测协议中的另一个重要变量。
RoboColiseum 在执行步数之外，增加了 Agent 推理次数预算。每项任务都有执行步数限制，阈值来源于训练数据；Agent 还需要控制推理调用次数，超出合理预算的反复探索尝试会受到相应扣分。
这两项约束分别限制了机器人在环境中的动作执行量，以及 Agent 在任务过程中的额外推理开销。
评分也加入了端到端任务完成奖励。
任务执行过程中，模型可以根据中间步骤获得进展得分。但只有在预算内完整完成任务，才能获得额外的完成奖励。这使得评测能够区分两种表现：一种是在局部步骤中取得较高分数，却始终无法完成整个任务；另一种则是在有限预算内完成完整操作。
对于长时序任务而言，这种区别尤其重要。机器人可能已经完成了大部分步骤，却在最后的放置、对齐或交接阶段失败。单纯累计中间进展，容易高估这类方案的实际完成能力。
RoboColiseum 的评分机制因此同时考虑任务进展、端到端完成情况，以及执行和推理资源消耗。
执行效率也进入了模型能力的比较范围。
报告还参考了 OpenRUA 发布的《Behind the RoboDojo Boom》，特别关注执行预算可比性和测试任务过拟合问题。对于能够自主调用工具、编写控制代码和反复尝试的 Agent，评测协议需要明确约束其可使用的资源，才能让最终分数具有更清晰的解释。
04 排名之外，不同模型的能力差异在哪里？
RoboColiseum Season II 不仅评测了 VLA/WAM Policy，也将 GPT-6 Astra、Claude Fable 5.2、Gemini 等通用大模型纳入同一套任务体系，观察它们通过 Agent 方式控制机器人时的表现。
Agent 评测采用 Agent2Act harness，模型直接输出控制指令，通过机器人接口执行任务。参与测试的八个模型包括 Astra、Opus 5.5、Gemini、Sol、Terra、DeepSeek、Muse 和 Claude Fable 5.2。
Policy 组则采用另一套实验设置。π0.5、GR00T N1.7、LingBot-VLA-2.0 被纳入评测范围，其中前三个模型已经公布实验结果。三个已报告模型均使用每任务 200 条示教数据进行混合任务 SFT，再进入 Benchmark 测试。
两组模型采用相同的四个 Track，但执行范式和训练条件不同，因此分别分析更有意义。
Agent：总体排名与专项能力并不一致
在八个 Agent 模型中，Claude Fable 5.2 以 18.30 的 Overall 得分排名第一，GPT-6 Astra 为 13.73，Claude Opus 5.5 为 11.77。
Agent · Season II 评测结果。分数为 0–100，Overall 为四个 Track 得分的算术平均。
Fable 的领先主要来自精细操作和跨本体迁移。它在这两个维度分别取得 33.04 和 17.99，均为 Agent 组最高。Astra 的总体得分虽然排名第二，但在全身协同上以 18.96 领先；Opus 5.5 以 18.94 紧随其后，两者仅相差 0.02。
灵巧手操作则呈现出另一种排序：Gemini 4 Argon 得分最高，为 5.19，Opus 5.5 为 4.70，Fable 为 3.73。Astra 在这一 Track 中得分为 0。
总体排名并不能直接代表模型在所有操作类型上的优势。不同模型在四个维度上的得分分布存在明显差异。
灵巧手：通用模型的短板暴露得很直接
Agent 组的灵巧手成绩整体偏低。
Gemini 4 Argon 以 5.19 排名第一，Opus 5.5 为 4.70，Fable 为 3.73。DeepSeek 得分为 1.15，Muse 为 0.43，Sol 仅为 0.07，Astra 和 Terra 均为 0。
Astra 在总体得分上排名第二，但在灵巧手 Track 中没有获得得分；Gemini 的总体排名第四，却在这一专项任务中领先。
这类差异与任务本身的要求有关，灵巧手操作需要模型处理多个手指之间的构型关系、接触位置和持续运动。剪刀操作要求不同手指分别进入两个手柄孔，叠碗需要手指进入碗内提供支撑，盖杯盖则涉及抓取、对齐和放置。模型能够理解物体的用途，也能够规划大致的操作步骤，并不意味着它能够生成适合多指执行的动作。
从这组结果看，灵巧手操作提供了一个很强的区分维度。通用模型在其他机器人任务上的表现，并没有自然转化成多指操作能力。
全身协同：领先模型之间的差距很小
全身协同是 Agent 组得分相对集中的一个维度。
Astra 得分为 18.96，Opus 5.5 为 18.94，Fable 为 18.42。三者之间的差距很小。Gemini 和 Sol 分别取得 17.42 和 17.40，Terra 则下降到 6.72。
这一 Track 涉及移动底盘、机器人姿态与机械臂操作之间的协调。模型需要在连续任务中处理不同身体部位的动作关系，单独完成机械臂操作并不足以覆盖整个任务要求。
精细操作与跨本体迁移：Fable 的优势主要集中在哪里？
精细操作是 Fable 与其他 Agent 模型拉开差距最明显的维度。
Fable 得分为 33.04，Astra 为 23.60，Sol 为 15.04，Opus 5.5 为 14.18。Astra 与 Fable 的差距达到 9.44 分。
逐任务结果也呈现出不同模型的专项优势。Astra 在投硬币和盖笔帽任务中分别取得 41.73 和 35.73，Opus 5.5 在插吸管任务中取得 28.80。
这些任务都要求机器人处理较小的操作目标。接近方向、末端几何、抓持位置以及接触后的动作调整，都会影响最终结果。即使都归入精细操作 Track，不同物体和操作方式仍然可能对应不同的能力要求。
跨本体迁移方面，Fable 同样领先，得分为 17.99，Astra 为 12.37。
报告逐任务结果汇总了 240 组机器人—任务案例，其中包括 40 例倒水和 200 例其他操作。不同机器人在可达范围、末端执行器几何和相机布局上存在差异，模型需要根据新的本体条件调整动作。
Policy：π0.5 总体领先，精细操作却是共同难点
Policy 组中，π0.5 的 Overall 得分为 11.22，LingBot-VLA-2.0 为 6.52，GR00T N1.7 为 5.93。
Policy · 已公布的三个模型结果。
π0.5 在四个 Track 中有三个领先，分别是灵巧手、全身协同和跨本体迁移。GR00T N1.7 则在精细操作上取得最高分，LingBot-VLA-2.0 在这一维度紧随其后。
灵巧手操作是三个 Policy 模型之间差距最大的维度。π0.5 得分为 16.79，LingBot-VLA-2.0 为 10.66，GR00T N1.7 为 5.53。
与 Agent 组不同，Policy 组在灵巧手任务上都有一定得分，模型之间的差距也比较清晰。π0.5 在这一维度领先另外两个模型超过 6 分。
全身协同方面，π0.5 以 13.87 领先，GR00T N1.7 为 9.24，LingBot-VLA-2.0 为 5.33。GR00T 与 LingBot 的排名在这一维度发生变化：前者高于后者。
精细操作则是另一番情况。GR00T N1.7 得分为 4.60，LingBot-VLA-2.0 为 4.40，π0.5 为 4.20。三个模型的差距只有 0.40 分，整体得分也明显低于其他维度。
π0.5 在总体表现上领先，但并没有在所有专项任务中占据优势。GR00T N1.7 虽然 Overall 排名第三，却在精细操作上取得组内最高分。
跨本体迁移方面，π0.5 得分为 10.00，明显高于 LingBot-VLA-2.0 的 5.70 和 GR00T N1.7 的 4.33。三个模型之间的差距也比较明显。
两组榜单
Agent 与 Policy 的实验结果放在一起看，确实能够提供一些有意思的观察。
Agent 通过模型推理、工具调用和控制接口执行任务，Policy 则通过训练得到的策略直接生成动作。前者依赖运行时的推理与决策过程，后者的表现受到训练数据、模型结构和动作生成方式等因素影响。
本次 Policy 评测还使用了每任务 200 条示教数据进行混合任务 SFT。Agent 与 Policy 的训练和执行条件并不相同，因此不能简单地把两个榜单的 Overall 分数放在一起，得出哪条技术路线更强的结论。
不同 Agent 模型在相同执行框架下表现如何，以及不同 Policy 模型在相同示教数据设置下呈现出怎样的能力差异。
从结果来看，精细操作、灵巧手和跨本体迁移都能拉开模型之间的差距，但不同模型的优势并不集中在同一个维度。总体排名提供了一个比较入口，逐 Track 的成绩则揭示了模型能力结构的差异。
对于模型研发而言，这些专项结果比单独的 Overall 排名更有参考价值。
05 从 Benchmark 到开放世界仿真
RoboColiseum 的技术路线可以看作三个相互关联的部分：通过系统辨识和 Real2Sim 提高仿真与真机的一致性，通过统一协议组合不同物理引擎和渲染系统，再利用 Season I 和 Season II 从多个维度评估具身模型。
这套体系已经覆盖了从基础指令执行到灵巧手操作、全身协同和跨本体迁移的多种任务，也将 Agent 与 Policy 纳入不同的评测体系。对于模型研发团队来说，它提供了一套可以观察不同技术路线表现、定位专项能力短板的实验环境。
但 Benchmark 的任务覆盖始终受到设计范围的限制。即使任务数量不断增加，如果场景、物体和操作流程仍然围绕预先定义的任务展开，模型在这些任务上的表现也很难完整反映其面对开放环境时的能力。
RoboColiseum 将 Sandbox 作为下一阶段的发展方向，尝试把评测环境从固定任务进一步扩展到开放世界场景。
RoboColiseum Sandbox：从固定任务走向开放场景
Sandbox 展示了家居、便利店、餐厅、酒店和办公室五类典型环境。
RoboColiseum Sandbox · 五类场景
报告展示的家居任务包括送早餐、收杯碗、整理沙发、开卧室门和碗入柜。与单一物体抓取相比，这些任务涉及多个物体、不同空间位置和连续操作步骤。
例如，送早餐需要机器人在场景中完成物品操作与移动；整理沙发涉及对不同物体的识别和摆放；碗入柜则要求机器人处理柜体空间、物体朝向和放置位置。
这类任务的共同特点是，机器人需要在一个相对完整的环境中连续完成操作。任务执行过程中，场景状态会不断变化，后续动作也需要根据当前环境进行调整。
目前报告展示的是 Sandbox 的场景示例和任务演示。更大规模的开放世界任务覆盖、多阶段任务评测及其具体评分协议，仍属于后续扩展方向。
仿真、评测与模型如何协同演进？
RoboColiseum 的发展方向还涉及一个更长周期的问题，模型能力提升后，仿真和评测应该如何跟着变化？
以当前的任务体系为例，Season I 主要覆盖指令遵循、空间推理、通用操作和抗扰动。随着评测范围扩展，Season II 又加入了灵巧手、全身协同、精细操作和跨本体迁移。
新的模型能力会带来新的评测需求，而评测中暴露出来的失败模式，也可以反过来指导任务设计和仿真环境的改进。
仿真需要提供更丰富的物体、场景和物理交互，评测需要设计能够区分模型能力的任务，模型则需要通过训练和实验不断解决这些任务中的问题。
RoboColiseum 希望形成的正是这样一个持续迭代的过程：模型提出新的能力需求，仿真扩展交互和场景覆盖，Benchmark 再通过实验结果识别模型的能力缺口，并将这些结果反馈给下一轮研发。
对于具身智能而言，Benchmark 的价值最终还是要回到真实机器人能力的提升上。模型能否在实验室之外处理更多物体、适应更多环境，并完成更长时间的连续操作，才是这套技术体系需要持续面对的问题。
来源：human five
