机器人要进入家庭，面对的不会只有杯子、盒子这类可以整体搬动的刚体。柜门、抽屉、翻盖和旋钮都带有运动关节，机器人要先找到合适的部件，建立接触，再沿着铰链、滑轨或旋转轴完成动作。抓取位置、运动方向或物体状态有一项不对，动作都可能在中途停住。
过去几年，机器人操作模型逐渐从单个动作走向多任务和长时序控制。模型开始处理语言指令、空间关系和动作带来的状态变化，能力也从“能不能抓住”扩展到“能不能把一件事做完”。家庭中的门、抽屉、盖子和旋钮也因此成为新的考验：机器人不仅要找到可操作部件，还要在物体运动过程中保持接触，并让动作随着状态变化调整。
这类动作对训练数据的要求也更高。数据既要覆盖不同物体和部件，还要保留交互过程中的关节状态、接触位置和动作结果。真实机器人逐件采集成本高，人的示范还要映射到机器人；物体换一个姿态、轴向或阻力，原来的示范也未必能直接复用。怎样让数据覆盖足够多的物体和交互条件，成为训练铰接操作模型必须面对的问题。
如果不为每个物体逐件采集真机数据，怎样才能获得这些训练数据？伽马智能（Gamma Robotics）、中国电信人工智能研究院（TeleAI）提出 Gamma-Art，构建大规模铰链操作（Articulated Manipulation）数据合成Agentic链路，用Agent能力将铰接物体、操作任务和交互条件组织成可批量生成的训练样本。
01.
被忽视的铰接操作任务
想象机器人打开一个柜门。它要先在画面里找到把手，再把夹爪送到合适的位置，建立接触，最后沿着铰链转动。手走得太直，门板会顶住；手腕角度不对，夹爪会在把手上滑开。拉抽屉时，末端要沿滑轨向后移动；旋转旋钮时，手指又要围绕旋转中心持续施力。任务指令只有“打开柜门”或“拧开旋钮”，执行过程却包含一连串位置、方向和接触的调整。
刚体抓取主要关心物体整体的位置和姿态，铰接物体的任务进度则直接体现在关节轴的状态上。柜门是否打开到位，要看铰链轴的开合角度；抽屉是否拉到目标位置，要看滑轨方向上的位移；旋钮是否完成旋转，要看绕轴角度。一个柜体可能同时有门、抽屉和翻盖，任务状态也要分别记录每个部件的轴、运动范围和当前位置。
与刚体操作任务不同，在铰接操作中，任务语义会直接决定机器人应接触的部件和采用的操作轨迹。打开柜门时，使用把手通常比从门缝边缘入手更有效；拉抽屉时，抓住把手更容易维持沿滑轨的方向；旋转旋钮时，接近旋转中心更容易形成稳定的切向运动。选对部件只是开始，机器人还要判断接触位置、运动方向，以及什么时候继续保持接触。接触建立后，轨迹必须服从关节轴的几何约束：门板沿圆弧运动，抽屉沿滑轨移动，旋钮绕轴线转动。机器人还要根据阻力和部件状态调整手腕、手臂甚至身体的位置；起点和终点相同，中间仍然可能有完全不同的轨迹。
在现有的操作能力验证中，铰接物体往往没有得到充分关注：相关任务在评测中只占很小比例，涉及的物体类别也比较有限。模型在一扇门上的成功，只能说明它完成了这一个物体和这一次开合；换成不同的把手、轴方向或阻力，原来的接触位置和轨迹就可能失效。家庭中的可动部件种类很多，柜门、冰箱门、微波炉门、抽屉、翻盖、旋钮和水龙头都有不同的运动范围、部件形态和阻力，它们都可以被语言描述为“打开”或“旋转”，机器人面对的物理问题却不一样。
要让模型学会铰接物体操作，数据需要同时覆盖不同类别和部件、关节轴及其状态、接触位置与操作轨迹，还要记录任务语义、接触约束和成功条件。那么，如何获取覆盖范围如此广、又能保留完整交互约束的机器人铰接操作训练数据呢？
02.
训练铰接物体操作能力的数据来源困境
这些数据要求很快会落到一个现实问题：数据从哪里来，怎样在规模化采集的同时保留铰接操作的约束？最直接的数据来源是真机遥操作。操作员需要根据画面、关节状态和受力反馈，判断当前应该拉、推、转还是按，再协调手腕、机械臂和底座，维持末端接触并避开碰撞和关节限位。操作员控制的是另一具身体，人手的直觉不能直接传递给异构机器人；轨迹中间稍有抖动，就可能增大交互力、破坏接触或让部件卡住。物体的把手位置、铰链方向、阻力或初始姿态发生变化后，原来的轨迹也可能失效，一次失败往往意味着整条示范需要重来。
物体和场景的规模会把采集成本继续推高。铰接物体型号和结构繁多，想覆盖更多门、抽屉、盖子和旋钮，就要采购、运输和维护更多真实设备；同一个物体换一个位置、初始角度或阻力，也可能需要重新采集。机器人本体、相机和工作空间发生变化后，示范还要重新适配。互联网视频可以记录人怎样开门，却没有目标机器人的关节指令、夹爪状态和接触力，无法直接补上这些物理控制信息。
UMI、FastUMI 和第一视角数据采集降低了对目标机器人设备的依赖。手持设备记录人的手腕和工具运动，第一视角视频记录人的观察与交互过程，EgoMimic、EgoDex 和 EgoScale 等工作也开始把这些数据用于操作模型训练。但这些数据仍然缺少目标机器人的关节状态、夹爪开合和接触力，还需要完成手部或工具到末端执行器的位姿估计、动作重定向和时间对齐。人的手臂长度、视角和活动范围与机器人不同，映射后的轨迹可能碰撞环境，也可能偏离铰链轴。
仿真为规模化获取铰接操作数据提供了一条解决路径。在仿真中，关节轴、运动范围、部件位姿和接触状态等特权信息可以直接取得，物体位置、机器人构型、光照、材质、摩擦和相机参数也能批量变化；同一任务可以重复生成，失败轨迹还能在渲染前过滤。InternData-A1 和 MolmoBoT 等工作已经尝试通过大规模资产、场景和轨迹生成来训练操作模型，但其中铰接物体的任务占比和类型覆盖仍然有限，关节轴、功能部件和持续接触等操作特性也没有得到专门处理。
Gamma-Art 从仿真数据合成入手，尝试通过铰接感知的资产、部件标注、轨迹生成和域随机化，规模化合成覆盖不同物体、部件、关节状态和接触条件的训练数据，并让模型从这些交互轨迹中学到可迁移的铰接操作能力。
03.
在仿真中构造可执行的操作任务
为了能够在仿真中高效地构造和验证铰接物体操作任务，团队推出了 Gamma-Sim：将资产库、部件级标注、约束感知动作生成、铰接感知域随机化和任务生成组织在同一套仿真平台中。
资产库
Gamma-Sim 收录 2,507 个带铰链、滑轨等运动结构的铰接物体，覆盖 88 个功能类别，并配备 1,452 套室内场景和 10,000 多张 4K 室内背景图。资产需要保留部件之间的结构关系，让柜门能转、抽屉能滑，也让机器人能在场景中找到把手、判断铰链方向和估计运动范围。
部件级资产标注
Gamma-Sim 使用视觉语言模型从正交投影视图中筛选可操作部件，再标注和校准每个部件的关节类型、运动范围与操作语义。系统使用 DINO-X 定位部件，通过光线追踪恢复表面点在物体坐标系中的位置，再结合迭代腐蚀和二维到三维反投影提取锚点动作坐标系。
动作坐标系规定了统一方向：+Z 轴表示接近方向，+Y 轴表示平行方向，原点位于夹爪与物体的接触点。旋转关节的平行轴与旋转轴对齐；移动关节的平行轴位于垂直于平移方向的平面内。系统根据关节类型在锚点周围采样动作坐标系，让同一部件产生不同的交互姿态。视觉语言模型还会识别部件材质，供后续视觉和物理随机化使用。
约束感知的动作生成
在自由空间中，Gamma-Sim 使用 cuRobo 进行 GPU 加速的批量轨迹优化和碰撞感知规划，并对轨迹施加扰动。进入接触过程后，末端执行器必须贴着部件沿其关节约束运动，轨迹生成因此要显式使用关节类型、关节位置和有效运动范围。生成后的轨迹还要检查碰撞、关节限位、接触丢失和构型偏差，不满足条件的轨迹会被过滤。
基于这些约束，Gamma-Sim 定义了 23 种可复用技能，覆盖推、拉、滑动、按压、开门、转动、翻转、旋钮操作，以及抓取、放置和对齐。每种技能有对应的约束和参数，还可以分解成多个子过程，按交互结构选择采样规划或约束引导的轨迹生成。控制点会加入随机扰动，增加轨迹变化，同时保持任务语义和接触关系。
铰接感知的域随机化
Gamma-Sim 随机化物体位姿、机器人初始构型和相机外参。对于容器类铰接物体，系统先整体变换容器和内部物体，再分别随机化内部物体及其相对位置。机器人初始关节状态围绕标称构型采样；相机内参保持与目标相机一致，外参则模拟安装误差、标定噪声和位姿偏差。
摩擦、密度、关节刚度和阻尼会影响可动部件的接触响应，系统因此按部件随机化摩擦和密度，并在小范围内扰动关节刚度和阻尼。视觉随机化也按部件进行，从预设库独立采样材质和纹理，保留物体的部件结构。系统还会随机化局部光和全局光的位置、强度、颜色与色温，并从 HDR 环境库采样环境贴图。
材质纹理
材质纹理随机化展示
光照条件
光照条件随机化展示
空间配置
空间配置随机化展示
相机外参
相机外参随机化展示
智能体驱动的铰接物体操作任务生成
为了提高仿真中铰接物体操作任务的构建效率，Gamma-Art任务生成智能体把自然语言任务转换为仿真配置，写入场景、物体、机器人、技能序列、初始状态、成功条件，以及渲染、物理、随机化和并行执行参数。
先从资产库检索机器人、物体和场景，再确定物体身份、初始状态与位姿，查询目标部件的操作标注，最后根据任务语义组合技能程序。这样，同一套技能可以适配不同的物体、任务和机器人配置。
智能体还会根据物体材质选择渲染模式，透明或反光物体可以使用路径追踪；预计任务长度则用于调整并行环境数量。任务生成由自然语言开始，最后落到带有具体部件、关节状态和成功条件的可执行仿真任务。
04.
构建可扩展的数据合成系统
一条训练示范需要机械臂轨迹、机器人状态、语言指令和多视角画面。仿真执行、质量筛选、视觉渲染和格式转换都完成后，样本才能进入训练集。
这几个环节使用的资源不同。轨迹生成主要消耗 CPU，视觉渲染依赖 GPU，格式转换既需要 CPU，也需要高频存储 I/O。串行执行会让不同阶段互相等待。铰接物体的接触约束还会增加失败轨迹，系统需要在渲染前完成验证和筛选。
Gamma-Art-Hive 将流程拆成轨迹生成与验证、视觉渲染、数据格式转换三种不同的工作负载，并据此构建了分布式的仿真数据合成任务调度系统。- 轨迹生成与验证。 系统批量生成轨迹变体，提前过滤碰撞、关节限位、接触丢失、动作抖动过大和任务失败等情况。成百上千个仿真环境可以同时运行，失败轨迹提前终止，成功轨迹才进入下一阶段。
- 视觉渲染。 渲染阶段只处理通过验证的轨迹，复现保存的随机种子，并行生成多路相机画面，再把观察、机器人状态和动作写入中间数据。
- 数据格式转换。 CPU 工作进程从共享存储读取中间结果，流式转换为 LeRobot 等通用格式，编码多相机视频并对齐不同机器人的字段。
共享存储连接三个阶段，调度器负责拆分长任务、监控状态和重试失败任务。失败样本不会占用渲染算力，各阶段也可以按 CPU、GPU 和 I/O 需求分别扩展。一台搭载 8 张 RTX 4090 的服务器，每天约能生产 144 小时机器人操作示范数据。这种可扩展的高效率数据生产，让合成大规模仿真机器人操作数据集成为了可能。
05.
Gamma-Art-Data：百万级铰接物体操作数据
Gamma-Art-Data 收录超过 100 万条铰接物体操作轨迹，总时长 4600+ 小时，约合 5 亿帧图像，覆盖柜门、冰箱、抽屉、旋钮等几十类日常物件。
按任务复杂度划分，Gamma-Art-Data 包含 44 类任务和 2,507 个铰接物体。单步原子动作占 69.4%，组合任务占 20.9%，长时序任务占 9.7%。后两类把多个操作阶段连在一起，更接近机器人连续完成一项家务。
每条轨迹都包含多视角画面、机器人本体状态、语言指令和动作序列。物体位置、光照、材质、摩擦力、尺寸、初始姿态和相机参数会同时变化，长时序任务还会把多个接触阶段连起来。在铰接物体操作轨迹数量上，Gamma-Art-Data 约为 RoboCasa365 的 2.4 倍、MolmoB0T 的 8 倍。
06.
仿真里学会的操作，到了真机还能用吗？
为了验证仿真合成数据能否让操作模型学到可迁移的铰接物体操作能力，Gamma-Art 使用 Gamma-Art-Data 训练 Gamma-Art-VLA。模型输入相机画面和语言指令，输出机械臂与夹爪的动作。训练先用百万级仿真轨迹预训练，再用任务级合成示范进行任务训练；全程没有使用真实机器人示范，训练完成后直接部署到真机。
在多个机器人仿真基准中，纯合成数据训练的Gamma-Art-VLA 达到或超过了部分使用真实世界数据训练的模型。在开柜门、拉抽屉等任务中，即使换成训练中没有见过的物体或组合任务，模型的成功率仍高于同期对比模型。训练数据覆盖了不同的位置、姿态和接触状态，视觉输入与动作的对应关系因此不再依赖某一种固定场景。
Gamma-Art-VLA 被部署到 RealMan RM75、R1Pro 和 ARX AC-1 三款双臂机器人上，测试拉抽屉、关闭微波炉门、拧旋钮、按压分配器、掀开工具箱盖子等操作。评测包含 12 项平台与任务组合，覆盖 8 类家庭操作。三款机器人上的总体平均成功率为 76.7%，使用真实机器人数据预训练的对比模型平均成功率为 69.4%，低 7.3 个百分点。真机执行时，Gamma-Art-VLA 的动作轨迹更平滑，抖动和噪声也更小。仿真中的物理约束，以及位置、姿态、光照和接触条件的变化，使训练数据覆盖了更连续的动作分布。
在 AC-1 上，研究人员进一步改变任务所在的平面和高度组合，测试模型在训练中未见过的空间关系下的表现。在这种设置下，Gamma-Art-VLA 的成功率只小幅下降，而部分对比模型明显下降，多项任务失败。这说明，仿真数据合成阶段对物体位置、机器人姿态和接触条件进行随机化，确实降低了模型对固定空间关系的依赖。
研究人员还比较了单个任务使用不同数量合成示范时的真机表现。示范数量逐步增加后，模型的成功率持续上升；达到 500 条时，抬起桶把手、关闭微波炉门、按下烤面包机压杆、拉抽屉和旋转微波炉旋钮这 5 项扩展任务的成功率都超过 80%。拉抽屉和拧旋钮需要持续接触与精细调整，增加示范后提升更明显。这组结果表明，增加仿真数据量能够继续改善真机表现；成功率随示范数量增加仍在上升，也说明 Gamma-Sim 生成的样本包含足够多的有效变化，新增示范仍能提供有效训练信号。
07.
让铰接物体操作走向现实
Gamma-Art 为训练机器人铰接物体操作给出了一条可行的路线：把数据生产搬进仿真。它先批量生成可交互场景和操作任务，再用自动标注和技能库生成可执行轨迹，通过域随机化增加物体位置、光照、材质、摩擦力和机器人姿态的变化，最终形成可训练的多模态示范，让模型在虚拟环境中练好能力后直接部署到真实机器人。
Gamma-Art-VLA 已经在三款双臂机器人上完成 12 项平台与任务组合测试，覆盖 8 类家庭操作，总体平均成功率达到 76.7%。仿真训练得到的操作能力，正在真实机器人上得到验证。
仿真还能继续生成新的家具、家电、任务和接触条件。数据越丰富，模型就能在虚拟环境中反复练习，再把更成熟的能力带到真实家庭中检验。在近期的具身智能研究中，这种以仿真扩展数据、再向真机迁移的思路正逐渐成为趋势。
当在仿真中获得的多样化操作经验能够持续迁移到现实，机器人走进普通家庭也将不再遥远。
项目主页：
参考文献：
[1] J. Ao, S. Jiang, Y. Zhong, Y. Liu, Y. Gao, J. Zhao, Y. Zhang, S. Zhu, C. Bai, X. Li*, “SMART: Zero-Shot Sim-to-Real Articulated Object Manipulation via Large-Scale Synthetic Pretraining”, arXiv:2610.07652.
[2] Zhang et al., “PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations”, arXiv:2604.27472.
[3] Tian et al., “InternData-A1: Pioneering High-Fidelity Synthetic Data for Pre-training Generalist Policy”, arXiv:2511.16651.
[4] Deshpande et al., “MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation”, arXiv:2603.16861.
团队简介：
Gamma-Art系列仿真平台工作由中国电信人工智能研究院（TeleAI）、伽马智能（Gamma Robotics）团队推出，技术团队由TeleAI 领军科学家、伽马智能创始人白辰甲博士领导，团队围绕自进化的人形机器人大脑进行全栈能力研发，包括通用操作模型、导航模型、高动态小脑、全身数据能力，并结合中国电信产业场景提供落地方案。中国电信集团CTO、首席科学家、TeleAI 院长李学龙教授指导相关工作开展。
来源：机器人大讲堂