BEHAVIOR Challenge 是基于 BEHAVIOR-1K 仿真环境举办的具身智能挑战赛，旨在评估机器人完成复杂家庭任务的能力。2026 年比赛选取了 100 项完整家庭任务，覆盖 7 个场景，并提供约 20,000 条人类遥操作示范，总时长约 1,950 小时。机器人需要在房屋尺度的环境中自主完成搜索、导航、双臂操作和设备使用等一系列动作，使环境达到任务要求的目标状态。比赛允许使用 VLA、任务与运动规划、SLAM 和 LLM 辅助策略等不同方法，评测时策略输入限定为 RGB、深度和机器人本体状态。
赛事采用支持部分得分的 Q-score 对 100 项任务进行平均排名，并通过隐藏任务实例评估系统对不同初始状态的适应能力。在本届比赛中，HiPhys-RSI 方案获得冠军，隐藏测试 Q-score 为 0.683，完整任务成功率为 48.2%。他们没有将问题局限于训练一个端到端动作模型，而是使用冻结的 VLM Coding Agent 组合感知、规划和控制工具，通过执行反馈不断修改机器人 pipeline，并结合 VLA 策略完成任务。
以下是正文
具身智能中的 Scaling 可以采取哪些形式？现代关于 Scaling 的讨论主要围绕增加训练数据、神经网络规模和计算量展开。然而，符号 AI 的早期研究传统采用了一条互补的路径：扩展智能系统可使用的知识、规则和程序。这两种视角强调不同形式的增长：一方面是模型训练，另一方面是显式、可执行的结构。随着多模态 LLM 编写和修改代码的能力不断增强，code-as-policy 为这两种传统搭建了一座桥梁。这引出了一个核心问题：具身智能能否通过构建和完善符号结构与程序结构实现 Scaling？
我们的 BEHAVIOR-1K 方案采用分层物理递归自我改进，Hierarchical Physical Recursive Self-Improvement（HiPhys-RSI），探索这一方向。在冻结 VLM 主干的情况下，Agent 使用经典的感知、规划和控制方法构建机器人 pipeline，再利用执行反馈和视频诊断失败并修改代码。知识以可复用的程序、工具、约束和条件行为的形式不断积累。推理时的路由机制在这些 pipeline 和 VLA 策略之间进行选择。我们将该系统与多个端到端训练的 VLA 模型进行比较，考察任务表现、泛化能力以及反馈驱动的改进。我们还使用 pipeline 生成的轨迹对 VLA 进行微调，探索可执行程序的完善能否支持学习型策略的改进。
1 引言
Scaling 已成为现代 AI 的核心组织原则。在当下的语境中，它通常指增加训练数据量、神经网络规模，以及投入训练和推理的计算量。其根本目标是通过大规模学习获得越来越通用的能力。符号 AI 的早期研究传统则强调一种互补的增长形式：结构化知识的积累与组织。智能行为由规则、算子、程序和其他可供系统推理与执行的表示提供支撑。从这个角度看，能力可以通过扩展系统的知识、可执行的操作，以及组合这些操作的方式而增长。这些研究传统强调了 Scaling 的不同维度：学习得到的模型能力，以及结构化、可执行的知识。通用 VLM 通过 code-as-policy 将这些传统联系起来：它们将学到的知识转化为可执行的技能，并利用视觉观察和执行反馈对其进行完善。这种融合引出了一个更广泛的问题：智能能否通过构建和完善可执行结构实现 Scaling？
这一问题在机器人领域尤其引人关注，因为这一领域已经拥有大量行之有效的计算方法。几何推理、任务与运动规划、SLAM、感知和反馈控制，都能在各自适用的范围内提供强有力的解决方案。然而，将这些方法应用于不同任务和环境，往往需要大量人工工程开发和分析。一个在某种场景中有效的 pipeline，到了另一种场景中可能需要不同的抓取策略、调整后的动作顺序，或额外的恢复程序。因此，挑战不仅在于单个模块的能力，还在于如何根据任务要求组合和调整这些模块。
Coding Agent 为自动化其中的一部分工作提供了一种途径，即通过 Agent 驱动的Recursive Self-Improvement，RSI：它们可以检查执行反馈和视频、诊断失败、修改程序，并测试修改后的行为。经过多轮迭代，有用的修改可以作为可复用的工具和条件行为保留下来，将特定任务的经验转化为能够支持后续任务的结构化知识。
这一视角拓宽了机器人系统泛化能力的含义。除了在陌生场景中执行固定策略，系统还可以利用现有工具构建和调整解决方案。如果生成的程序能够跨任务和环境复用，能力增长就可能来自这些结构化知识的积累与完善。这呼应了符号 AI 的一种传统：将解决问题的经验编译为可复用的规则和算子，从而减少后续场景中对重新推理的需求。随着这些知识变得更加丰富、组织得更加完善，每项新任务中能够由现有结构处理的部分也会不断增加，需要新建或修改的部分则逐渐减少。从这个意义上说，可执行知识通过其适用范围的不断扩大而实现 Scaling：积累的结构支持更广泛的任务覆盖，同时需要的额外适配越来越少。我们的核心问题是：自动化编程、工具使用和反馈驱动的改进，能否在具身系统中持续支撑这种形式的 Scaling？
我们通过 BEHAVIOR-1K 挑战赛的解决方案研究这一问题。其中的长时程家庭任务需要多样化交互、协调的动作序列，以及对物理状态变化的适应，因此为研究可执行结构如何支持复杂机器人行为提供了一个具有挑战性的环境。我们的方案 HiPhys-RSI 使用通用 Coding Agent，将机器人组件组装成任务 pipeline，并通过 Agent 驱动的 RSI 对其进行完善。在这里，分层改进包括高层工具使用与协调、底层工具实现的完善，以及使用 pipeline 生成的轨迹进行 VLA 后训练。最终形成的混合系统支持在推理时于构建好的 pipeline 和 VLA 策略之间进行路由。我们将该系统与多种仅使用 VLA 的训练变体进行比较，考察任务表现以及不同训练设置和输入表示的影响。通过这项研究，我们探索通过 RSI 获得的结构化知识实现 Scaling，作为具身智能发展的一条互补路径：能力通过可执行程序的积累和完善而增长。
我们的框架还将可执行程序的完善与机器人基础模型训练联系起来。我们将可执行 pipeline 生成的轨迹与 benchmark 提供的示范相结合，对 VLA 进行微调，从而把 pipeline 构建和完善过程中获得的经验融入学习型策略。生成的策略可以与构建好的 pipeline 一起，供推理时路由机制选择。这为未来可执行结构与学习型策略之间的共同演化提供了基础：改进后的策略可以扩展后续 pipeline 构建时可用的能力，而进一步完善的 pipeline 又可以生成更多训练经验。探索这一相互促进的过程，是连接基于结构的 Scaling 与基于数据的 Scaling 的一个有前景的方向。
2 相关工作
2.1 成熟的机器人领域专用工具
机器人领域已经发展出大量方法，用于解决不同的计算问题，并为具身系统提供可复用的基础组件。几何推理方法用于描述空间关系，评估碰撞与间隙。感知方法通过局部特征提取、对应关系估计和点云配准等任务，从传感器观测中提取有用信息。任务与运动规划方法通过任务分解、运动推理和连续参数采样，将离散任务决策与连续空间中的几何可行性联系起来。轨迹优化方法通过基于梯度的优化、序列凸优化等技术，完善机器人运动，使其满足任务目标和运动约束。控制方法将期望的任务行为转化为机器人指令，并通过反馈调节执行过程，包括在任务层面协调机械臂运动和力。
这些方法共同建立了深厚的算法基础，但使用它们需要合适的输入、假设和接口。我们的工作建立在这一基础之上，研究通用 Coding Agent 如何选择、组合和调整机器人工具，构建可执行的任务 pipeline，从而自动化将这些工具扩展到不同任务和环境所需的工程工作。
图 1｜所提出框架的概览。
HiPhys-RSI 工作流程（左）： 具有冻结 VLM 主干的 Coding Agent，通过工具组合、rollout 分析和跨任务经验获取任务经验，并在训练实例上迭代完善可执行的机器人 pipeline。可选的人工纠正可以在构建过程中提供额外指导。
异构 pipeline 与策略之间的推理时路由（中）： Agent 使用 policy card 为每项新任务选择一个 pipeline 或 VLA 策略，被选中的组件自主执行任务。
结果（右）： 我们的框架与各任务上表现最佳的 VLA 基线的任务得分，按任务类别分组。
图中流程包括：
- 体验任务： VLM 与环境交互，收集任务经验，包括任务观察和交互轨迹。
- 设计 pipeline： 组合自主运行的机器人 pipeline，包括感知、规划、逆运动学（IK）、导航、控制等组件。
- 分析 rollout： 观察 rollout 并评估机器人行为，分析反馈并诊断失败。
- 迭代完善 pipeline 和策略： 修改模块并验证 pipeline，进行 pipeline 改进和 VLA 后训练。
当分数提升低于阈值时，可以引入人在回路中的纠正。构建完成的 pipeline 可以独立执行任务。
2.2 Agentic Robotics
语言模型 Agent 通过工具使用、环境交互和反馈扩展模型能力，包括交错进行推理与行动、学习调用 API，以及通过语言进行反思。可执行程序提供了统一的动作空间，并使可复用技能的积累成为可能。软件工程 Agent 进一步展示了仓库检查、程序编辑和基于执行结果调试的能力，为 Agent 通过完善程序和技能实现自我演化奠定了基础。
在机器人领域，Agent 将环境反馈纳入规划，并生成组合感知、规划和控制的程序。机器人 harness 通过任务分解、路由和基于记忆的衔接，支持根据能力协调异构策略；也有工作将冻结的 VLA 与解析式基础动作和执行记忆相结合。Li 等人通过可查询工具提供几何感知能力，并将执行轨迹蒸馏到更小的模型中，将工具介导的交互与策略学习联系起来。
近期工作进一步将这些 Agent 方法扩展到机器人的自我演化。Li 等人整合数据采集、策略学习和执行；Xiao 等人使用 Coding Agent，通过物理试验完善策略和训练基础设施。Wen 等人以分层方式组织技能、定位失败，并在复用之前验证修改。Liang 等人将支撑系统视为不断演化的策略，把执行轨迹转化为经过验证的上下文管理、持久记忆和分层技能更新。Zhang 等人通过部署过程中获得的示范和经过验证的策略更新，使任务编排器与策略共同演化。
这些研究探索了通过程序修改、技能积累、系统演化和策略学习实现能力增长，但并未系统考察结构化工具使用的可扩展性，也未将其与 VLA 等端到端方法进行全面比较。我们的工作旨在填补这一空白：研究通用 Coding Agent 如何利用成熟的机器人工具构建和完善可执行 pipeline，并将这些 pipeline 与学习得到的动作模型进行系统比较。
3 问题形式化
我们研究通用 Coding Agent 如何根据任务说明、示范和可复用的机器人工具，构建自主运行的机器人 pipeline。
一个 pipeline 构建问题定义为：
其中， 指定任务及其成功条件； 是一组参考示范； 是机器人环境； 是一个可调用工具库，其中的工具实现了导航、感知、规划和控制的经典方法。此前构建的 pipeline 也可以作为可复用的可调用工具纳入工具库。这些工具的输入、输出和时间范围可能各不相同。
环境提供观测 ，并接收机器人动作 。参考示范由此前采集的机器人完成相应任务的视频和轨迹组成。对于每个任务 ，令 表示用于获取任务经验和完善 pipeline 的初始环境配置集合。
给定 ，一个参数冻结的 Agent 构建可执行 pipeline 。该 Agent 具有用于解读视觉证据的冻结 VLM 主干 。pipeline 定义了工具的组合方式、信息流，以及基于观测和工具执行结果的条件执行逻辑。生成的 pipeline 通过协调工具调用、响应环境反馈，自主执行任务。其执行过程记为：
其中， 记录执行轨迹和任务结果。在推理时，Agent 利用积累的能力信息，选择现有的 pipeline 或 VLA 策略来完成新任务。
pipeline 的构建通过在 上反复执行和完善来进行。在第 轮迭代中，执行 pipeline 得到：
其中， 指定初始环境配置。由此产生的视频、执行日志、工具输出和任务结果共同指导下一轮修改：
其中， 将执行反馈与冻结 VLM 的视觉分析结合起来。Coding Agent 和 VLM 的参数在整个过程中保持固定；改进被编码在 pipeline 的可执行程序及其相关结构化知识中。
目标是构建一个使期望任务得分最大化的 pipeline：
其中， 表示使用可用工具构建的可执行 pipeline 集合， 衡量执行过程 的任务表现。期望值考虑了环境配置和执行结果的变化。在构建过程中，系统在固定的训练实例集合 上估计性能，以指导改进。pipeline 的构建受到给定计算预算和交互预算的约束。
4 方法
我们的框架使基于冻结 VLM 的 Coding Agent 能够通过四个阶段构建自主运行的机器人 pipeline：获取任务经验、设计 pipeline、分析 rollout，以及迭代改进。Agent 利用示范和在任务训练实例集合上的交互，为设计提供依据，将可用的机器人工具组合成可执行程序，并利用执行反馈完善这些程序。在整个过程中，冻结的 VLM 主干负责帮助解读视觉证据。此前构建的 pipeline 和积累的任务经验随后可以被复用，以支持新任务。
4.1 获取任务经验
对于每项任务，我们从 BEHAVIOR-1K 训练环境中采样 10 个实例，构成 。在经验获取、rollout 分析和 pipeline 改进的整个过程中，这个集合保持固定。
基于 VLM 的 Coding Agent 首先检查任务说明 和参考示范 ，然后在该集合中的少量实例上直接控制工具调用和机器人交互。在这一探索阶段，Agent 解读观测和工具执行结果，选择后续操作，并尝试完成任务。这些交互为判断需要哪些工具、应如何组合这些工具，以及哪些可观测条件表明任务成功完成，提供了第一手证据。
由此获得的经验记录了工具的输入和输出、操作之间的依赖关系，以及与任务进展相关的中间状态。这些经验与参考示范共同帮助 Agent 将任务规定的成功条件落实为可观测的结果，并识别哪些环节需要感知、协调或反馈。
随后，Agent 将在各个训练实例上探索得到的工具使用决策转化为可执行的结构化程序，根据收集到的交互轨迹构建自主运行的 pipeline。
4.2 可执行 pipeline 设计
基于从 中获得的任务经验，Coding Agent 将 中的工具组合成可执行程序，构建初始 pipeline 。Agent 将探索过程中发现的操作及其依赖关系转化为工具调用、信息流和条件执行逻辑。
为了协调接口和时间范围不同的工具，Agent 编写必要的支撑代码，用于准备输入、解读输出、维护执行状态，以及在模块之间转移控制权。探索过程中确定的可观测成功条件，则为中间进度和子任务完成情况的检查提供依据。
最终生成的 pipeline 将经典机器人模块整合到同一个程序中。例如，感知输出可以为规划器提供参数，再由控制器执行规划器生成的轨迹。程序规定了调用各个组件的时机，以及如何根据观测和工具执行结果推进后续执行。因此，其结构受到 Agent 任务经验和可用工具能力的共同影响。
pipeline 构建完成后，便按照预先编写的逻辑自主执行，完成此前由 Agent 在探索过程中直接负责的工具协调。在每次 rollout 中，pipeline 通过已实现的检查机制和条件分支响应环境反馈。
在构建过程中，Coding Agent 随后会分析训练实例集合上的 rollout，并在两次执行之间修改程序，从而将 Agent 驱动的 pipeline 构建与机器人的自主执行分开。
4.3 Rollout 分析与失败诊断
在第 轮迭代中，pipeline 在初始配置 下执行，得到 。由此产生的视频、执行日志、工具输出和任务结果被整合为反馈表示 。
程序层面的反馈揭示调用了哪些操作，以及它们返回了什么结果；基于 VLM 的视觉分析则评估相应的机器人行为和环境变化。这些互补信号有助于区分工具是否成功调用，以及物理任务是否真正执行成功。
Agent 将观察到的 rollout 与预期的任务进展进行比较，以确定执行从哪里开始出现偏差，以及哪些 pipeline 组件需要修改。失败可能源于错误的工具输入、模块之间不兼容的假设、不合适的执行顺序，或对动作执行失败的处理不足。
视觉证据也有助于诊断那些仅凭执行日志难以发现原因的失败。例如，一次操作虽然执行结束，却没有使物体达到预期状态；或者运动规划器由于细小障碍物而无法找到路径。
这一分析的目的是将观察到的失败与可采取的程序修改联系起来。Agent 不仅依赖任务得分，还会利用现有的执行证据确定应该修改什么，以及为什么需要修改。
4.4 迭代改进 pipeline
以任务说明、当前 pipeline 和 rollout 反馈为条件，Coding Agent 生成下一版程序：
修改可以涉及工具选择、输入和输出变换、执行顺序、工具配置参数或条件逻辑。随后对更新后的 pipeline 进行评估，以确定这些修改是否提高了任务表现。通过反复执行与分析，Agent 可以在保持 Coding Agent 和 VLM 参数固定的同时，改进对现有能力的协调方式。
令 表示 pipeline 在 上的平均评估得分。我们将一次修改带来的提升定义为：
当得分提升 连续指定次数低于阈值 ，或预设的计算预算或交互预算耗尽时，改进过程终止。提升阈值和等待窗口是与任务相关的超参数，默认值分别为 和连续 10 次修改，并根据任务的长度和难度进行调整。
在构建和改进过程中，可选的人工在环纠正可以为 pipeline 设计和修改提供额外指导。构建完成后，pipeline 按照其编程逻辑自主执行。
4.5 跨任务经验与 pipeline 复用
在每项任务的训练实例集合上进行构建，会产生能够支持后续任务的可执行程序和结构化知识。可执行程序保留了已经实现的工具组合方式；结构化知识则记录相关的运行条件、观察到的失败模式，以及此前修改过程中获得的经验教训。
这些资源使 Coding Agent 能够在设计新 pipeline 时利用已有经验。对于一项新任务，Agent 可以选择并调整此前构建的 pipeline，将其与原有机器人工具一起作为可调用组件使用。
这支持分层组合：一个 pipeline 可以协调多个可复用程序，而每个程序又可以调用更底层的工具。复用的组件会在新任务的训练实例集合上进行评估，该集合上的执行反馈将指导必要的适配。
在整个过程中，Coding Agent 及其配套 VLM 保持冻结。改进被编码在 pipeline 的可执行逻辑及相关结构化知识中，使积累的经验能够改进跨任务协调现有机器人能力的方式。
4.6 使用 Agent 生成的轨迹微调 VLA
Agent 生成的轨迹提供了一条途径，可将通过 HiPhys-RSI 获得的经验迁移到机器人基础模型中。随着可执行 pipeline 通过交互不断得到完善，其 rollout 记录了操作策略、协调的动作序列，以及对执行失败的响应。
我们将这些 rollout 转换为与任务指令配对的观测—动作序列，并将其与 benchmark 示范相结合，进行针对特定任务的 VLA 后训练，具体细节见第 5 节。生成的策略与构建好的 pipeline 一起，被纳入推理时路由的候选集合。
这将基于结构的 Scaling 与基于数据的 Scaling 联系起来：通过完善可执行程序而形成的策略和恢复行为，会生成用于补充原始示范的观测—动作轨迹。这些轨迹使 VLA 接触到完成任务和处理执行困难的其他方式，为将显式程序中积累的经验融入学习型策略参数提供了一条路径。
4.7 推理时动态路由
为了支持推理时路由，如图 1 所示，我们为每个可用的 VLA 策略和构建好的 pipeline 配置一张 policy card。每张卡片概述对应组件的能力和使用要求，以及其在训练实例集合中、不同任务上下文和执行条件下的历史成功率分布。
对于构建好的 pipeline，卡片还包含在这些集合上进行构建和改进时收集的边界案例记录，包括观察到的失败模式，以及执行变得不可靠的条件。这些卡片为 Coding Agent 提供了判断各组件适用性和局限性的依据。
对于每个输入的任务实例，Agent 将其上下文和要求与 policy card 进行比较，以选择合适的 pipeline 或 VLA 策略。路由过程会考虑组件在相关条件下的历史表现、已记录的边界案例，以及其功能是否适合当前任务。
被选中的组件随后按照自身的执行机制完成任务；pipeline 内部的工具协调则由其编程逻辑控制。
policy card 会根据训练实例集合中新的执行结果和观察到的边界案例动态更新，使后续路由决策能够利用积累的经验。
5 VLA 模型：架构与训练设置
我们采用 2025 年 BEHAVIOR Challenge 第一名的方案作为基础模型。该方案基于预训练的 权重，通过使用 BEHAVIOR 示范继续训练，使模型适应家庭环境中的移动操作任务。其主要修改包括：在 Flow Matching 中使用相关噪声、在视觉主干与 Action Expert 之间使用可学习的混合层注意力，以及预测任务阶段，以此作为动作执行的条件。
我们将这一基础模型适配到当前 benchmark 的 100 项任务，并评估三种训练变体。这里的元训练指的是在汇集全部 100 项任务的 benchmark 示范数据上进行联合训练。
Meta-1-Epoch。 我们使用涵盖全部 100 项任务的汇总示范数据集，对基础模型进行一个完整 epoch 的联合训练。训练使用每项任务全部可用的 benchmark 训练示范，使单个共享策略能够学习跨任务的导航和操作行为。所得 checkpoint 直接用于评估所有任务，同时作为后续针对特定任务进行后训练的共同初始化模型。
Per-Task Post-Training。 我们从同一个 Meta-1-Epoch checkpoint 初始化各个任务专属策略，并使用相应任务的数据继续训练。该数据集结合了 BEHAVIOR-1K benchmark 提供的训练示范和 Agent 驱动的 pipeline 生成的额外轨迹，使通过 pipeline 改进形成的行为能够迁移到学习型策略中，如第 4.6 节所述。
这一过程为每项任务生成一个独立策略：既保留联合训练获得的初始化能力，又能适应特定任务的执行模式和操作要求。评估时，我们选择与目标任务对应的策略。我们还在策略训练中额外引入 3D 空间信息，例如深度以及相对于机器人的几何信息。
Meta-2-Epochs。 我们在相同的汇总 benchmark 示范数据集上继续联合训练，使总训练时长达到两个 epoch。这一变体用于评估增加多任务训练的效果，不进行任务专属适配，也不使用 pipeline 生成的轨迹扩充数据。
这些 VLA 变体既作为学习型策略候选，与构建好的 pipeline 一起参与推理时路由；也作为仅使用 VLA 的对比基线，用于考察延长多任务训练和进行任务专属后训练的效果。其中，任务专属后训练设置还将 Agent 生成的经验纳入 VLA 训练，从而把 pipeline 改进与学习型策略的提升联系起来。
6 结果与讨论
6.1 与 VLA 基线的整体性能比较
图 2｜八类任务中每项任务的表现。 我们将三种 VLA 训练变体与最终方案进行比较。每个径向柱表示一项任务的得分，任务 ID 标注在图的外围，任务按照图例分为 A–H 八类。详细的类别定义和分类标准见附录 A。
Coding Agent 使结构化知识的 Scaling 成为可能。 在几乎所有任务上，我们的 Agent 系统得分都高于仅使用 VLA 的变体，提升覆盖了全部八类任务，如图 2 所示。这些广泛的提升，与混合系统将显式信息处理、任务层面推理和专用动作执行相结合所带来的收益一致。
每个阶段承担不同的作用：经典感知和 SLAM 模块将观测转化为结构化场景信息；在 pipeline 构建和改进过程中，基于 VLM 的 Agent 利用这些信息制定执行策略，并指定被编码进 pipeline 的目标和约束；下游专用执行器通过各自的规划和控制方法，将这些决策转化为机器人运动。
例如，基于可供性的路径规划支持物体搜索和导航，反馈控制实现精确对齐，任务与运动规划处理具有逻辑结构的分类任务，而 code-as-policy 程序执行重复的抓取与放置操作。这种分工将场景理解与任务层面的决策、物理执行连接起来，使互补组件能够通过显式信息流协同工作。
要实现这些收益，需要选择合适的能力、协调其执行，并通过环境反馈完善具体实现。因此，系统的 Scaling 取决于能否高效地跨任务完成这些工程工作。这些过程传统上需要大量人工工程投入，限制了基于结构化机器人知识构建的系统的可扩展性。
通用的、基于 VLM 的 Coding Agent 通过 RSI 闭环自动完成其中的大部分工作，将执行反馈转化为经过修改的实现、约束和恢复行为。通过缓解这一工程瓶颈，Agent 为通过构建和完善可执行 pipeline 来扩展结构化知识的使用提供了一条路径。
增加 VLA 训练能够提高任务得分，但能力差距依然存在。 如图 2 所示，在所评估的训练配置下，将联合元训练从一个 epoch 延长到两个 epoch，带来的收益相对有限。
相比之下，针对每项任务进行后训练，使用 benchmark 示范和 pipeline 生成轨迹的混合数据开展额外的任务专属训练，能够提高单项任务得分，同时大体保留各类任务之间相对的优势和劣势分布。这些收益体现了任务专属后训练和数据增强的共同作用。
在评估的 VLA 变体中，一般放置和部分物体变形任务的表现相对较强；移动检索、匹配放置和精细操作仍然具有挑战；设备操作的表现也不均衡。
我们假设，这些持续存在的差距部分反映了所评估模型在长时程协调和特定任务操作能力上的局限。具体而言，移动检索表现较弱，可能源于模型难以支持建图、搜索和探索所需的持续决策。匹配放置和精细操作中的挑战，可能反映了其在精确物体对齐所需反馈控制方面的不足。设备操作表现不均衡，也可能源于模型难以结合具体情境理解物理机构和设备功能。
这些要求或许可以解释为什么额外训练能够改善部分任务的表现，却基本没有改变不同任务类别中优势和劣势的整体分布。
6.2 结构化知识的 Scaling
图 3｜pipeline 改进进展与技能构成。
- 左：总体任务得分随改进迭代次数的变化，展示了初期快速提升、随后趋于饱和，以及此后幅度较小的提升。
- 中：不同任务所需迭代次数的分布。
- 右：构建出的 pipeline 中各类技能的使用频率，气泡面积与使用频率成正比。
图中技能包括视觉搜索、导航、抓取、放置、关节运动操作、设备操作、接触式清洁、切割、倾倒、物体重新定位、连接和喷洒。
结构化知识 Scaling 的趋势。 图 3 左侧的改进曲线表明，结构化知识的 Scaling 包含一个初期的能力组合阶段，随后进入要求更高的策略发现阶段。
早期迭代能够带来快速提升，因为在整体策略基本合适的情况下，许多直接的失败可以通过修正工具配置、执行顺序和模块协调来解决。
随着这些问题在各项任务中得到解决，整体性能提升逐渐减小，进一步的改进集中在尚未解决的困难案例上。后续收益来自通过 RSI 持续探索发现的更稳定的操作策略；这些策略并不存在于提供的训练数据或示范样例中。
这些发现改变了系统处理任务的方式，使其能够克服原有策略下持续存在的失败。因此，初始平台期不一定代表固定的能力上限：它可能标志着进一步进展需要探索其他解决方案。改进结果被保存在可执行代码中，使交互过程中获得的知识能够不断积累，而底层模型保持冻结。
广泛的任务覆盖较早出现；剩余任务需要的投入显著增加。 图 3 中部的总体迭代次数分布集中在较低数值，同时具有较长的右尾。这表明，对大多数任务而言，构建 pipeline 的成本相对较低，但少数任务需要高得多的投入。所有任务的迭代次数中位数为 25.5。
这一模式凸显了 Scaling 中的权衡：当系统试图覆盖越来越困难的任务时，改进成本的增长速度可能远快于已解决任务数量的增长。因此，如果对所有任务使用统一的迭代预算，可能会在较早稳定的任务上投入不必要的工作，同时过早停止那些需要进一步探索的任务。
根据观察到的进展自适应分配预算，可能更有利于平衡广泛的任务覆盖与解决剩余困难案例的成本。
共享技能支持广泛覆盖，专用技能扩展能力边界。 图 3 右侧展示的技能使用频率揭示了为什么一些组件的改进能够产生广泛影响，而另一些组件虽然使用较少，却仍是扩大任务覆盖范围的必要条件。
导航、视觉搜索、抓取和放置反复出现，是因为各种家庭任务都需要寻找、接近、获取和重新放置物体。这些技能的反复使用也为误差累积创造了多次机会，使其可靠性对长时程任务的成功至关重要。
关节运动操作、设备操作、切割和倾倒等专用技能出现频率较低，但可能决定一项特定任务是否能够完成。因此，Scaling 既要求改进共享能力，也要求解决专用技能中的瓶颈。
图 4｜不同任务类别的 pipeline 改进迭代次数。 箱体表示第 25 至第 75 百分位数，箱体中的线和数值表示中位数，须线表示第 10 至第 90 百分位数。
不同任务类别的改进需求存在差异。 图 4 中各类别的分布揭示了改进工作量的不同来源。
一般放置平均需要最多的改进，反映出即便是常见的抓取与放置程序，也必须适应多样的物体几何形状、支撑表面和释放条件。
工具使用同样需要大量改进，因为成功执行要求将工具的抓取、朝向和运动与预期的接触效果协调起来。
精细操作的中位数相对较低，但上尾尤其长：现有程序足以完成部分任务，而严格的对齐容差和接触约束使其他任务更难改进。
材料分配也表现出较大差异，原因在于容器几何形状不同，以及控制材料转移所需的运动不同。
设备操作的分布相对集中，典型迭代次数也较低，因为一旦识别出相关机构，其交互通常可以通过范围有限、可重复的运动来实现。
这些模式表明，改进需求取决于各类别中物理交互的多样性及其对误差的敏感程度。
6.3 对隐藏测试集的泛化
隐藏评估用于测试构建出的 pipeline 能否泛化到开发和报告阶段使用的实例之外。如图 5 所示，大多数任务在隐藏评估中的 Q 分数有所下降，但多数降幅小于 0.2。
有些任务保持了相近的表现，或取得了更高的分数，表明构建出的程序能够跨实例迁移。
降幅最大的任务主要依赖物体搜索，其成功率受到物体随机初始位置的显著影响。如果物体位于被遮挡或难以接近的位置，搜索时间可能大幅增加，导致机器人无法在执行预算内完成任务。
部分任务的评分谓词数量也很少，有些任务使用二元评分，因此只要一个条件未满足，就可能造成不成比例的大幅降分。每项任务只有 10 个测试实例，报告的差异也会受到采样波动的影响。
因此，观察到的差距反映了系统对实例配置的敏感性、评分粒度较粗，以及评估样本有限所带来的波动。总体而言，结果表明系统具备跨实例泛化能力。
图 5｜各任务在隐藏评估与报告结果之间的 Q 分数差异。 柱状图显示 ，并按降序排列。正值表示隐藏评估得分更高，负值表示隐藏评估得分更低。横轴标注任务 ID。
6.4 失败模式分析
失败从操作错误转向执行瓶颈。 图 6 中的失败分布显示，VLA 基线的失败高度集中于抓取和放置；在我们的方法中，失败则更多集中于抓取和超时。
放置、关节运动操作和物体丢失所占的比重有所下降，这与显式几何约束和专用执行程序能够更可靠地处理这些交互的情况一致。
抓取仍然是两种方法中最主要的失败模式，凸显了在物体几何形状、可接近性和周围杂乱程度发生变化时，建立稳定接触依然困难。
图 6｜我们的方法与 VLA 基线的失败模式比较。 柱长表示与各失败模式相关的百分比，柱内数字表示该失败模式在对应方法中的频率排名。各失败模式的详细描述见附录 B，按任务划分的失败模式热力图见附录 C。
物理约束限制了进一步改进。 超时和导航失败的突出地位，体现了寻找并接近目标物体的成本。当机器人无法找到目标物体，或路径规划在杂乱环境中反复失败时，这两类失败经常同时出现。
长时间搜索、反复尝试规划和低效移动会消耗执行预算，导致留给后续操作的时间不足。这些失败反映了当前感知、搜索和运动规划策略在可见性、物理空间余量和执行预算受限时的局限。
例如，目标物体可能藏在柜子角落中较大物体的后方，尽管反复搜索，从机器人能够到达的视角仍然无法看见。即使找到了目标，机器人也可能需要在间距很小的家具之间导航，或让机械臂穿过狭窄缝隙才能接近目标。在这种情况下，场景重建或机器人定位中的微小误差，都可能使原本可行的路径与周围环境发生碰撞。
对于此类情况，改变搜索顺序或反复调整规划轨迹，对改善可见性或增加物理空间余量的帮助很小。在当前策略下，这些约束可能导致系统反复进行不成功的尝试，耗尽剩余执行预算。
6.5 案例研究：Agent 驱动的 pipeline 中的非常规策略
除了整体表现，我们还考察了 pipeline 的构建和改进如何产生适应场景约束与执行困难的操作策略。图 7 展示了六个案例，涉及替代接触点、准备动作、执行顺序和放置几何关系。
这些策略通过 Agent 提出方案并在人工指导下进行改进而形成，展示了积累的执行知识如何转化为具体的机器人行为。
根据物体的可接近性调整抓取方式。 在 cook_broccolini（任务 96）中，当煎锅手柄朝外或朝向侧面时，机器人抓住靠近自身一侧的锅沿。它将锅水平抬起并搬运至炉灶，避免为了接近手柄而绕过厨房中岛。
类似地，在 carrying_out_garden_furniture（任务 74）中，墙壁或附近家具可能阻碍机器人接近独轮车手柄。机器人从车轮一侧接近，双手抓住车斗前沿，确认已将其抬起，然后将独轮车搬运至门口。
这两种策略都根据物体在场景中的可接近性调整接触位置的选择。
改变物体状态以便于操作。 在 spray_for_bugs（任务 38）中，直接抓取直立的喷雾器容易发生碰撞，也可能使抓取后的喷雾器处于不便于开启的角度。机器人首先将喷雾器推倒，使其侧放，从而更容易从合适的方向抓取，并将其调整到便于开启的朝向。
在 stacking_wood（任务 58）中，平行放置可能导致一根木柴从下方支撑它的木柴上滚落或滑落。机器人于是将搬运中的木柴转至与支撑木柴垂直的方向，并在略微靠近自身的位置释放。一端搭在支撑木柴上，另一端落在地面上，利用重力和地面支撑维持接触，降低滚落风险。
这些行为通过改变物体位姿和支撑几何关系，使后续交互或放置更加可靠。
调整动作顺序并改变搬运方式。 在 packing_meal_for_delivery（任务 81）中，机器人首先将三个空纸袋直立放入箱子，再将汉堡放进纸袋。这一顺序利用箱子在装填过程中支撑纸袋，省去了在放入汉堡时逐个扶住纸袋的需求。
在 installing_a_scanner（任务 92）中，机器人先在扫描仪位于桌面时将其打开，检查按钮是否变绿，然后使用倾斜的闭合手掌，配合底盘侧向运动，将扫描仪推向笔记本电脑。当扫描仪距离过远或位置不适合推动时，pipeline 则使用抓取搬运程序。
这些策略通过改变执行某项操作的时机，以及移动物体的方式，简化了任务执行。
图 7｜Agent 驱动的 pipeline 中的非常规策略。 代表性执行案例展示了 pipeline 构建和改进过程中发现的非常规操作策略。
综合来看，这些案例展示了 pipeline 改进如何将抓取选择、物体状态和动作协调方面的实践性调整记录下来。生成的程序利用场景几何关系和物理支撑解决执行困难，并将这些调整保存在代码中，以便自主执行任务。
6.6 案例研究：Benchmark Hacking，还是 Reward Shaping？
物理 Agent 递归自我改进引发了对 benchmark hacking 的担忧，但利用评估漏洞与响应 reward shaping 之间的界限并不总是清晰。
我们使用官方评估器，并为不同方法设置相同的任务执行预算；在整个开发过程中，隐藏测试实例均不可访问。这些控制措施支持一致的比较，也使我们能够评估系统对开发实例之外场景的泛化能力。
图 8 中的两个案例展示了 benchmark hacking 与针对规定奖励进行优化之间的模糊边界。
在任务 58（stacking_wood）中，Agent 将木柴组成三组相互独立的两根木柴，而不是将它们堆成一堆。这满足了评估器要求的“每根木柴都接触另一根木柴”，却绕过了预期的堆叠目标，因此是一个相对明确的 benchmark hacking 案例。
任务 48（canning_food）则更有争议：Agent 直接在冰箱内将食物切丁，获得了部分分数，但没有完成后续将食物转移到碗中的目标。评估器正确记录了任务进度尚未完成，而原地切割也可能是一个有效的中间步骤。然而，同样的行为也可能反映出系统在针对容易获得的分数进行优化，却没有继续推进至完全完成任务。
这两个案例共同说明了为什么 benchmark hacking 与奖励优化难以区分：两者都是对既定目标的响应，但它们与任务真实意图的符合程度不同，可能是明显地绕过目标，也可能是合理但尚未完成的进展。
这种模糊性并非物理 RSI 所独有；它反映了 RL 领域长期讨论的奖励设计问题：策略可能优化了设定有误的奖励，却没有实现预期目标。正如 Amodei 等人所讨论的，一个在普通行为下与预期目标相关的代理指标，在强力优化下可能失去这种对应关系。
类似地，对于与示范相似的执行方式而言，看起来足够合理的成功谓词和部分奖励，在 RSI 探索更广泛的策略空间时可能不再充分。这些观察表明，benchmark 评估标准可以随着针对其进行优化的系统共同演进。
发现的捷径可以帮助完善评估标准：揭示终止条件在哪些地方未能准确反映预期结果，或者部分奖励在哪些地方鼓励了停滞在完成之前的策略。
在完善这些标准时，同样需要保留合理的替代方案，因为仅仅偏离示范本身，并不足以证明存在 hacking。因此，提升任务求解能力与完善评估标准可以相互促进：更强的系统暴露任务定义中的缺口，更好的标准则引导后续改进朝向预期任务目标。
作为补充，在仿真中更好地重建和建模真实世界环境及交互，也有助于使策略优化和评估更加贴近实际部署条件，World Labs 关于 real-to-sim-to-real pipeline 的工作探索了这一方向。
图 8｜Agent 构建的 pipeline 中潜在的 benchmark hacking 行为。 代表性执行案例展示了利用定义不充分的成功条件，或优先获取部分分数而非完成任务的策略。
除了完善“什么算成功”的定义，另一个有价值的方向是评估策略独立判断何时已经成功的能力。即便成功标准定义得很好，如果评估器同时告诉系统该标准何时已经满足，仍可能有一部分能力差距未被测量。
因此，未来的 benchmark 可以考虑将阶段转换检测和完成情况检查作为额外评估维度。例如，可以保留仿真器状态判断用于评分，同时让系统自行判断任务进度和终止时机。
同时评估准确性和延迟也很有价值，因为反复查询大型闭源模型，即便判断正确，也可能延迟执行。我们团队的一项专门研究探索了这一方向：将执行状态评估蒸馏到一个运行频率超过 1.7 Hz 的小模型中，从而能够频繁检查任务进度和阶段转换。
将此类评估与任务结果一并纳入，可以更全面地判断一个系统能否既实现预期目标，又独立确定何时推进到下一阶段或停止。
7 结论
在本报告中，我们研究了如何通过结构化、可执行的知识实现机器人任务的 Scaling。我们使用基于冻结 VLM 的 Coding Agent，通过 HiPhys-RSI 构建和完善自主运行的 pipeline。
我们的混合系统结合了由经典感知、规划和控制模块构建的 pipeline，以及在已有 pipeline 和 VLA 策略之间进行选择的推理时路由机制。通过与三种 VLA 变体进行系统比较——这些变体涵盖了不同的训练时长和任务专属适配设置——我们发现，在所评估的 BEHAVIOR-1K 任务类别中，我们的方法表现出广泛的性能优势。
这些发现支持将结构化知识积累作为具身智能 Scaling 的一个互补方向，而 Coding Agent 可以自动完成组合和适配机器人能力所需的部分工程工作。
我们的分析表明，基于结构的 Scaling 从通过能力组合实现快速提升，逐渐转向要求更高的替代策略探索。广泛的任务覆盖在相对早期就会出现，而困难案例需要投入不成比例的改进工作。
失败模式分析表明，Agent 系统能够解决许多协调和操作方面的困难，但仅靠改进仍然受到可见性、物理可接近性和执行预算的限制。案例研究进一步展示了 HiPhys-RSI 如何通过改变接触位置选择、物体状态和动作顺序，获得非常规策略。
未来工作应通过 real-to-sim-to-real 闭环弥合 sim-to-real gap：利用物理世界的观测和执行失败来校准仿真，在符合真实情况的变化条件下改进 pipeline 和策略，并在真实机器人上验证这些改进。随后，可以利用部署中的差异指导进一步的仿真更新、代码修改和策略适配，将 HiPhys-RSI 扩展到真实世界中的持续改进。
附录
A 任务类别定义
我们根据任务的主要能力要求，将其分为八类。
A. 移动检索： 搜索、定位和取回物体，包括跨房间、门口或狭窄通道搬运物体。
B. 一般放置： 将物体移动到表面上或放入较宽敞的容器中，不要求特定的匹配关系或精确对齐。
C. 匹配放置： 根据物体的身份、类型或任务规定的对应关系，为每个物体选择合适的目标位置。例如，将瓶子、罐子和纸张分别分类放入对应的箱子。
D. 精细操作： 为插入、堆叠、悬挂或连接等操作，仔细控制物体的位置和朝向，例如将相机安装到三脚架上。
E. 工具使用： 操作手持工具对目标施加作用，包括刷洗、清扫、喷洒、吸尘或点火。
F. 材料分配： 倾斜容器，将其中已有的内容物转移到另一个容器中或目标物体上，例如将食材倒入锅中。
G. 设备操作： 操作机械机构、按钮或电器，以改变设备或物体的状态，例如启动洗衣机，或使用炉灶烹饪食物。
H. 物体变形： 生成并追踪经过加工或分割后的物体形态，例如将洋葱切丁，或将一根木柴劈成两半。
B 失败模式定义
我们将执行失败分为十种模式。
抓取失败： 在拾取过程中无法建立稳定抓取，包括夹爪闭合未能成功，或无法到达所需的抓取姿态。
放置错误： 物体被放置或插入到错误的位置、朝向或深度，未能满足要求的空间关系。
物体丢失： 在已经抓取物体后，物体意外掉落或丢失，例如发生在搬运或操作过程中。
关节运动操作失败： 与具有可动关节的物体交互失败，例如未能将门、抽屉或盖子打开或关闭至要求的状态。
导航失败： 机器人无法定位或到达目标物体或工作区域，包括搜索失败、路线受阻，或无法到达可进行操作的位置。
超时： 在完成任务之前耗尽可用时间预算，可能由长时间重试、低效移动或执行停滞等原因导致。
物理干扰： 机器人或周围物体发生碰撞、卡住、姿态不稳定或跌倒等情况，从而妨碍执行。
规划错误： 不合适的动作序列或决策阻碍任务推进，例如遗漏前置步骤、以错误顺序执行动作，或持续采用无效计划。
系统错误： 在有现有证据支持的情况下，将执行中断归因于支撑软件或评估环境，包括运行时错误、仿真器崩溃、API 调用失败或仿真伪影。
感知错误： 对物体身份、位置、几何形状或状态的理解有误，导致选择了不合适的目标或动作。
这些类别并不互斥：一次 rollout 可能出现多种失败模式；超时也可能与造成延误的失败同时出现。
C 按任务划分的失败模式热力图
图 9｜各任务的失败模式。 图中各列对应任务 ID，各行对应失败类别。颜色深浅表示每项任务中各失败模式出现的频率，颜色越深表示百分比越高。
纵轴包含以下失败类别：
- 抓取失败
- 超时
- 导航失败
- 物理干扰
- 放置错误
- 感知错误
- 物体丢失
- 规划错误
- 关节运动操作失败
- 系统错误
横轴为任务 ID，范围为 0–99。颜色刻度为 0%–100%。
来源：human five
