分享好友 行业资讯首页 行业资讯分类 切换频道

Ego视频不止于预训练:Ego2X,让人类操作真正成为机器人训练数据

2026-11-20 12:0130机器人大讲堂

“ 从人类动作到物体交互,从视频重建到物理可执行数据,探索 Ego Video 通向具身智能 Post-training 的新路径。

Ego2X的研究背景:从高精度单目重建走向物理交互数据

幂特科技聚焦 Physical AI 数据基础设施,致力于将广泛可获取的 RGB 视频转化为具有统一物理尺度、空间结构和动作语义的结构化数据。团队持续研发单目 3D Hand Pose 与 SLAM 技术,并通过自主构建的动态 3D 真值体系开展算法测量、验证与迭代。此前对外介绍的内部测试结果中,单目手部重建 MPJPE 约为 1 厘米、PA-MPJPE 小于5毫米;自主真值测量系统达到约 0.2 毫米精度。

在产品化方面,幂特科技已与数家头部具身大脑公司、世界模型公司及互联网大厂达成合作,并获得数十万小时级 Ego 数据处理订单;其自动化管线在已验证生产场景中可连续处理数千小时视频。公司也已上线 MaaS 平台( iPhone、GoPro、RealSense 等设备的单目 RGB 视频,获取三维手部姿态与空间轨迹重建结果。

这条技术路线可以概括为:以普通 RGB 视频作为低门槛、可规模化的数据入口,以高精度三维重建提取动作与空间信息,以真值体系保障质量,再通过自动化处理和 MaaS 推动规模化交付。Ego2X 则进一步向前推进了一步:在已有的人体与场景几何基础上,将关注点从手部运动轨迹推进到物体表面的接触关系,并探索将这些信息转化为机器人可执行数据、仿真交互和模型后训练数据。

从这个背景出发,再来看 Ego2X 想解决的问题,就更容易理解它的技术价值。

论文信息

论文:Ego2X: Contact-aware Transfer from Egocentric Human Data to Any Robot

作者:Xinke Lyu、Bowen Yang、Zhicheng Wang

作者单位:幂特科技(PowerTech)、北京邮电大学、中国科学院自动化研究所。

论文链接:https://arxiv.org/abs/2611.24138

01.

Ego Video 正在成为具身智能的重要数据来源,但真正的挑战才刚刚开始

随着具身智能的发展,利用人类第一视角视频(Egocentric Video,简称 Ego Video)训练机器人,正在逐渐成为行业共识。相比真实机器人采集,Ego Video 具有低成本、易获取、场景丰富和易规模化等优势。

但一个关键问题始终没有被真正解决:视频中究竟什么信息对机器人最有价值?如何稳定地提取这些信息,并将其转化为机器人真正能够执行的数据?

目前,业界主要探索了三种路径:一是利用海量互联网 Ego Video 进行预训练,让模型从人类动作中学习视觉表征和动作先验;二是通过手部识别、三维重建等技术提取人类运动学轨迹,用于机器人动作学习;三是通过世界坐标系重建、手部识别、动作重定向和机器人渲染,将人类视频转换为类机器人数据。

这些路径各有价值,但视觉上还原了人类动作,并不意味着机器人真的完成了正确的物体交互。手指可能悬停在物体旁边,夹爪可能闭合在空处,物体也可能没有随着动作正确运动。看起来像机器人完成了操作,不代表机器人在物理世界中真的完成了操作。

如果不能解决 Action 的准确性和物理交互的一致性,Ego Video 的利用就很难从 Pre-training 进一步走向高质量的 Middle-training 甚至 Post-training。

02.

重新思考:机器人真正需要从 Ego Video 中学到什么?

机器人训练数据有两个不可缺少的维度:一是准确的 Action,知道在哪里接触物体、如何抓取、如何施加作用;二是真实的 Environment,保留真实世界中的物体、场景、空间关系和交互过程。

Ego Video 天然拥有真实环境,但动作信息往往隐藏在二维视觉和不确定的三维重建结果中。Ego2X 的核心观点是:人类视频真正值得迁移的,不只是 Hand Motion,而是人类如何通过接触与物体发生交互。

03.

核心创新:CORE,让物体交互成为数据转换的中心

图片

图 1|Ego2X 整体框架:CORE 接触记录驱动深度修正、跨本体重定向、机器人渲染与仿真验证。

Ego2X 提出了 CORE(Contact-centric Object-interaction REpresentation),将物体交互关系统一表达在物体坐标系下,主要包含四类信息:

• Contact Point:手部与物体表面的接触位置及法向。

• Relative Force:不同接触区域的相对作用强度、方向及支撑力先验。

• Grasp Mode:Power Grasp、Precision Pinch 等不同抓取模式。

• Interaction State:Approach、Acquire、Hold、Transport、Release 五个交互阶段。

与直接迁移人类手部运动轨迹不同,CORE 关注人类在哪里接触物体、以什么方式接触,以及这些接触如何驱动物体运动。需要说明的是,CORE 中的力是由视觉和运动学估计得到的结构化先验,并非真实传感器标定的牛顿力。

CORE 并非独立的接触检测模块,而是贯穿整个 Ego2X 转换流程的统一表征。

04.

从 Ego Video 到 Robot Data:三个关键技术环节

图片

图 2|Ego2X 技术流程:单目视频重建、CORE 提取、深度修正、接触驱动 IK、去皮肤化渲染与仿真验证。

1. Contact-driven Depth Correction:利用接触约束修正三维深度

单目视频存在深度不确定性,即使手部与物体在二维图像中看起来已经接触,三维空间中仍可能存在偏差。Ego2X 利用 CORE 提取的可信接触点,结合物体表面几何、相机射线和多视角信息,解耦修正物体位姿与手部深度。

在 HOT3D 上,接触驱动的深度修正将 HaWoR 的手部射线方向误差从 14.35 mm 降低至 9.51 mm,改善约 33.7%。

2. Contact-driven IK:让不同形态的机器人真正完成接触

Ego2X 不再要求机器人机械地复制人类手部轨迹,而是利用 CORE 中的接触点、法向、抓取模式和相对作用信息驱动逆运动学求解。对于灵巧手,优化手指接触垫与物体表面锚点的匹配;对于两指夹爪,则根据物体表面接触关系生成适合夹爪的对向抓取。

在 EgoDex 上,灵巧手接触实现率达到 62.9%,相比官方 HuRo Pipeline 的 27.9% 提升 35.2 个百分点。

3. Contact-aware Robot Rendering:保留真实环境,生成机器人视频

在人类手臂替换为机器人时,传统视频修复可能连同被抓取的物体一起抹除。Ego2X 利用 CORE 的交互状态保护被操作物体,并进行接触边缘去皮肤化处理。在 14 组未参与调试的操作序列中,接触边缘的皮肤残留率从 12.55% 降低至 0%,且没有出现物体消失。

05.

效果视频:从 Ego Video 到 Robot Video

进一步探索:

从 Ego2Robot 到 Ego2Simulation

既然已经获得 CORE 这样的结构化物体交互表征,就可以进一步将其迁移到仿真环境。相比机械地复制人类手部轨迹,Ego2X 将重点放在真正发生的接触点、接触法向、抓取模式和交互状态,在仿真中重新构建抓取、搬运和释放过程,并通过物理仿真进行闭环验证。

这意味着,Ego Video 不仅可以转化为机器人视频和动作数据,还有潜力成为高质量仿真交互数据的重要来源。

关键实验:

Ego2X 数据能否真正提升模型能力?

在 RoboTwin 2.0 中,研究团队使用经过 Ego2X 转换和物理验证的数据,对 X-VLA 进行 Post-training。在 Place Bread in Basket 任务的 200 组配对测试场景中:

图 3|RoboTwin 2.0 中的闭环验证与 X-VLA 后训练结果。

仅使用 55 条经过验证的 Ego2X 数据,X-VLA 的任务成功率就从 40.5% 提升至 67.0%,提高 26.5 个百分点。值得注意的是,未经物理验证的数据并没有取得同样收益。这说明机器人训练不仅需要更多数据,更需要符合物理交互约束、能够被机器人执行的数据。

这组实验初步验证了 Ego Video 从 Pre-training 走向 Post-training 的可能性。

Ego2X:

让人类操作成为机器人可以学习的物理经验

Ego2X 仍有值得进一步探索的方向,包括严重遮挡下更加准确的物体位姿重建、接触关系向仿真环境的稳定迁移,以及真实接触力信息的恢复与补全。真实机器人上的部署与验证也仍是后续工作。

但一个重要方向正在逐渐清晰:未来,具身智能需要的不只是更多人类视频,而是能够从视频中稳定提取物体交互关系,并将其转化为机器人可以执行、可以验证、可以训练的数据。

从 Hand Motion 到 Object Interaction,从视觉相似到物理一致,从视频预训练到模型后训练。Ego2X 希望探索的,是如何让人类在真实世界中的操作经验,真正成为机器人能够学习和使用的物理经验。

幂特科技

PowerTech(北京幂特科技有限公司)是一家聚焦 Physical AI 数据基础设施的人工智能公司。公司以真实人类操作数据为基础,通过自主研发的技术,从普通单目视频中还原精准手部动作、人体姿态和空间位置,并将人体动作转化为机器人训练所需的数据。公司自研的数据生产平台,打通了视频处理、三维动作重建和数据交付等环节,为机器人训练提供高质量的人类行为数据。幂特科技坚持以打造高质海量的数据推动智能发展,致力于降低机器人训练数据的获取成本,让真实世界中的人类动作更高效地转化为机器人能力。


来源:机器人大讲堂

点赞 0
举报
收藏 0
评论 0
分享 1