细粒度标注如何帮机器人真正执行任务？

——RoboAtom让百万轨迹拥有统一时间对齐监督

在机器人学习中，一条“开柜门—拿起布丁—放下布丁”的轨迹，包含多个连续动作。除了知道任务是什么，模型还需要更细的监督：每一步在做什么，又从哪里开始、在哪里结束。

当数据扩展到百万条轨迹，逐条精修这些标注的成本就成为一个关键问题。

人工逐条精修的成本约为每视频小时 100 美元。在标注传播评测中，GPT-5.6-sol 的成本为 3.510 美元；而 RoboAtom 提出的 PhysExtend，在已有参考标注的条件下，仅需 0.000028 美元的传播计算成本，并取得了更高的标注精度。

从人工精修到物理信号驱动的传播，上述单价跨度约为 360 万倍。将精修集中在少量参考轨迹上，再低成本扩展到同任务数据，是 RoboAtom 实现规模化标注的关键。

上海人工智能实验室联合浙江大学、复旦大学、清华大学、上海交通大学提出的 RoboAtom，通过已有标注校正、种子标注、传播与质检，为 1,446,974 条轨迹构建了统一、时间对齐的原子动作标注，共包含 6,876,282 个片段、16,882.1 小时，覆盖 16 个数据源、32 种机器人本体。

▲图1｜RoboAtom 总览。上方展示数据与基准，中间展示时间对齐的子任务标注，下方分别展示标注模型性能与机器人控制成功率。©【深蓝具身智能】编译

研究背景

从任务指令到原子动作监督

“把布丁从柜子里拿出来”描述了任务目标，但没有说明机器人在每一时刻执行哪一步。对长时序操作而言，开门、抓取和放置各自对应不同的动作阶段，准确区分这些阶段，有助于构建更细粒度的学习目标与执行指令。

RoboAtom 将每个原子动作标注为一个片段，包含技能类别、动作描述，以及起止帧。技能类别统一不同数据源中的动作语义，动作描述保留操作对象与具体细节，起止帧则把这些信息与轨迹对齐。

构建这类监督的难点，在于标注质量与扩展成本。人工可以逐帧修订，但难以直接覆盖百万条轨迹；通用视频大模型能够辅助标注，在短暂物理事件的定位和切分粒度上仍有不足。

重复执行同一任务的轨迹，往往共享一套技能顺序。这提供了一条扩展路径：

能否只精修少量参考轨迹，就把标注可靠地传播到大量同任务数据？

PhysExtend 方法与传播实验

从物理信号中寻找动作边界

PhysExtend 直接利用机器人状态—动作信号进行标注传播，无需在传播过程中调用大模型或处理视频图像。

这些信号包括运动强度、停顿、方向变化、夹爪开合、持握状态和底盘速度等。例如，夹爪与持握状态的变化，可以为抓取、放置动作提供边界线索；底盘的启停，则有助于定位移动片段。

对于技能顺序一致的同任务轨迹，PhysExtend 先从少量参考轨迹获得技能顺序，再结合相对进度、片段时长和夹爪事件等线索，通过带顺序约束的动态规划联合确定目标轨迹的动作边界。

这种联合求解会同时考虑整段轨迹的约束，减少逐段决策带来的误差传播。相比之下，Cortex 通过拟合参考轨迹的特征分布进行对齐，在执行速度变化或出现停顿、重试时，可能偏离真实的技能切换位置。

▲图2｜PhysExtend 的物理线索与传播效果。（a）夹爪信号与 Pick/Place 边界对齐；（b）底盘运动与 Move 边界对齐；（c）技能与物理特征的关联；（d）不同参考数量下 PhysExtend 与 Cortex 的性能对比。©【深蓝具身智能】编译

低成本传播能达到怎样的精度

团队在 100 个任务上评估标注传播，每个任务包含 5 条人工标注轨迹，任务内的技能顺序一致。单参考设置中，1 条轨迹提供参考标注，其余 4 条用于评估传播结果。

Skill F1@0.7 （mailto:F1@0.7）同时检查技能类别与时间边界：技能标签一致、时间交并比至少为 0.7，才构成有效匹配。整条轨迹全对率则通过人工复核，要求一条轨迹中的所有子任务语义与切分均正确；这一指标在每任务 1 条、共 100 条轨迹上评估。

在这一设置下，PhysExtend 的 Skill F1@0.7 为 71.0，约为 GPT-5.6-sol 的两倍；整条轨迹全对率达到 69%，高出 23 个百分点。其 mIoU 为 76.8，也高于 Cortex 的 66.5 和 GPT-5.6-sol 的 58.9。

成本优势来自对状态—动作信号的直接利用。

单 CPU、单参考设置下，PhysExtend 的吞吐量达到 15,952 条轨迹/CPU 小时，为 Cortex 的 17.1 倍，传播计算成本为每视频小时 2.8×10⁻⁵ 美元。

增加参考轨迹还能改善传播效果。方法先基于每条参考独立求解边界，再融合对应位置的结果。参考数从 1 条增加到 4 条时，Skill F1@0.7 从 71.0 提升至 79.3。

RoboAtom 数据构建

从少量精修扩展到百万轨迹

低成本传播提供了扩展能力，而统一的标注定义、参考质量和后续质检，共同决定了最终数据能否用于训练。

▲图3｜RoboAtom 构建流程。模型辅助标注与人工复核产出种子标注，经 PhysExtend 传播和质检形成 RoboAtom-Data；专家逐条复核建立 RoboAtom-Bench。©【深蓝具身智能】编译

团队首先汇集真实机器人与仿真轨迹，统一数据格式、技能类别和标注粒度，并复用经校正的已有标注。

对于需要补充标注的任务，视觉语言模型生成候选动作片段和初始边界，标注人员再对照原始视频，修订技能类别、动作描述与起止帧。经模型辅助检查和人工复核后，这些结果成为种子标注。

随后，PhysExtend 将参考标注传播到技能顺序一致的同任务轨迹。传播结果再经过质量检查与修订，形成 RoboAtom-Data。人工抽检结果显示，各数据集的子任务准确率均超过 85%，仿真数据集超过 95%。

最终，RoboAtom-Data 包含 1,446,974 条轨迹、6,876,282 个动作片段、16,882.1 小时，来自 16 个数据源、3,334 个任务、32 种机器人本体。

与表中具有子任务标注的数据集相比，RoboAtom-Data 的轨迹数扩展到百万量级，任务数扩展到数千。其轨迹数、任务数分别约为 RoboInter-Data 的 6.1 倍、14.4 倍；动作片段数、总时长分别约为 AgiBot World Beta 的 6.9 倍、5.7 倍。

其中，RoboAtom-Data 同时包含真实与仿真轨迹，比较时需结合数据类型理解规模差异。

RoboAtom 评测与自动标注

RoboAtom Bench 检验动作识别与边界定位

规模化标注还需要统一的评测方式。现有 WGO-Bench 包含 100 条轨迹，其中 75 条为机器人轨迹；其开放词汇标注，也难以直接用于统一技能类别下的识别准确性评估。

为更系统地评估技能识别、动作顺序与时间边界定位，团队构建了 RoboAtom-Bench。

基准覆盖 15 个数据源，包含经专家逐条复核的 500 条轨迹、4,018 个动作片段，轨迹数量为 WGO-Bench 的 5 倍。轨迹动作数中位数为 5，单条轨迹最多包含 62 步。

评测中，模型输入为视频与任务指令，不提供参考轨迹。这一设置与前述 PhysExtend 的同任务标注传播不同，考察的是模型直接生成动作标注的能力。

结果显示，通用模型对动作顺序的识别好于对时间边界的定位。GPT-5.6-sol 的技能序列编辑得分 Edit 为 63.4，时间 F1@0.7 为 28.0。Edit 不考虑时间边界，两类指标共同反映了“识别做了什么”与“定位何时发生”之间的差距。

动作序列长度也会影响切分粒度：四个参考模型在 Short 子集上倾向于过度切分，预测片段数为真值的 1.48–1.70 倍；在 Long 子集上倾向于合并动作，预测片段数仅为真值的 0.51–0.65 倍。

RoboAtom Anno 利用规模化监督训练标注模型

为提升自动标注能力，团队利用 RoboAtom-Data 训练了 RoboAtom-Anno。9B 版本以 Qwen3.5-9B 为基座，依次进行机器人领域中训练、监督微调和 GRPO 优化；27B 版本从 Qwen3.8-27B 出发，采用同样的训练流程。

在 RoboAtom-Bench 上，9B 版本的 Skill F1@0.7 达到 30.1，高于 GPT-5.6-sol 的 21.4，推理成本约为其 1/700；27B 版本进一步达到 33.8。

9B 和 27B 版本的 Skill F1@0.7 分别比 GPT-5.6-sol 高 8.7 分、12.4 分，27B 版本的推理成本约为其 1/56。表中成本对应视频自动标注推理，与前述参考驱动的传播计算分开统计。

▲图4｜RoboAtom-Anno 的训练配置与参考模型对比。不同配置下的 Skill F1@0.7 展示了标注处理、监督来源与后续训练对模型表现的影响。©【深蓝具身智能】编译

训练对照进一步说明了监督质量的作用。使用开源数据原有标注进行监督微调时，Skill F1@0.7 为 6.6；经过词表对齐与歧义样本过滤后，提升至 17.1。换用 RoboAtom-Data 标注、仅训练语言侧 LoRA，得分进一步提升至 23.0。

结合视觉模块更新、机器人领域中训练与 GRPO，最终得分达到 30.1。GRPO 的奖励同时考虑有序时间匹配、连续时间重叠、技能序列编辑相似度和输出格式。引入 GRPO 后，时间 F1@0.7 从 35.5 提升至 41.0，预测片段数与真值之比从 1.20 降至 0.99。

模型还展现出向人类操作视频迁移的潜力。尽管 RoboAtom-Data 不包含人类视频，27B 版本在 WGO-Bench Ego 人类第一视角视频上的时间 F1@0.7 仍达到 28.3，约为最强参考模型的两倍。

机器人控制验证

细粒度监督如何进入机器人执行

细粒度标注能否帮助机器人完成任务？团队通过双系统架构，在相同后训练预算、观测空间与动作空间下，比较了两种设置：任务级指令训练并端到端执行的 π0.5 基线，以及使用原子动作监督并结合分层执行的 RoboAtom 方案。

相比基线，RoboAtom 在 LIBERO-Long、LIBERO-Plus 和 RoboTwin 上的成功率分别提升 3.20、4.13 和 1.80 个百分点。

▲图5｜双系统执行流程。System 2 根据任务计划、当前画面和执行进度选择子任务指令，System 1 以该指令为条件驱动 π0.5 生成机器人动作，新观测再反馈给 System 2。©【深蓝具身智能】编译

训练时，团队为每个观测—动作对补充所在片段的技能标签和动作描述，与任务指令共同作为条件，微调 π0.5 得到 System 1。

部署时，System 2 使用 Qwen3.8-27B，根据任务计划、当前画面和执行进度选择子任务指令。System 1 执行后，将新的观测反馈给 System 2，由其决定继续当前子任务，还是切换到下一步。

▲图6｜π0.5 基线与 RoboAtom 方案在三个基准上的成功率。LIBERO-Plus 为全部 10,030 项任务的总体结果，RoboTwin 为 Clean 与 Random 两种设置的均值。©【深蓝具身智能】编译

在 LIBERO-Plus 的 Object、Goal 和 Long 子集上，成功率分别提升 6.63、6.41 和 3.73 个百分点。这些结果表明，原子动作监督与分层执行相结合，有助于改善所测任务中的物体与目标变化适应能力，以及长时序执行表现。

总结

RoboAtom 将人工精修集中在少量参考轨迹上，再利用物理信号进行低成本传播。结合已有标注校正与多阶段质检，这一流程为约 145 万条机器人轨迹构建了统一、时间对齐的原子动作监督。

这批标注进一步支持了自动标注模型训练和机器人执行：RoboAtom-Anno 在所报告的评测中优于参与比较的参考模型，原子动作监督结合分层执行也提升了三个机器人基准上的成功率。RoboAtom-Bench 则提供了检验技能识别、动作顺序与时间定位能力的统一评测基准。

低成本传播让细粒度监督具备了规模化构建的可行路径，也为研究“更细的机器人数据标注如何帮助模型学习与执行”提供了数据和实验基础。

编辑｜魏学源

审编｜具身君

论文标题：RoboAtom: Large-scale Atomic-Action Supervision for Robot Learning

论文作者：Xueyuan Wei, Xuanxu Wang, Xudong Li, Yuping He, Wanshui Gan, Jiaqi Peng, Wenqi Guo, Jianjun Zhou, Junting Dong, Chunhua Shen, Haoyu Guo, Mulin Yu†, Tao Lu†

研究单位：上海人工智能实验室、浙江大学、复旦大学、清华大学、上海交通大学

论文链接：https://arxiv.org/abs/2610.40207

项目主页：https://internrobotics.github.io/RoboAtom/

代码：https://github.com/InternRobotics/RoboAtom

数据：

模型：https://huggingface.co/InternRobotics/RoboAtom

来源：深蓝具身智能