“ 从视频恢复三维动作，并映射为机器人动作。

GPT-6 Astra 的出现，展现了通用模型在复杂推理与多步骤任务执行上的进步。在幂特科技看来，随着这些能力向具身场景延伸，准确、可迁移的人类动作数据，将成为连接模型能力与机器人行动的重要基础。 普通摄像头记录了丰富的人类操作；如果能从中恢复可靠的三维姿态与连续轨迹，就有机会将更多人类经验转化为机器人的学习信号，拓展真机采集之外的真实场景数据来源。

幂特科技聚焦的，正是这条从普通单目 RGB 视频到高质量三维动作数据的转化链路：以高精度重建提取动作，以自主真值体系持续验证和提升精度，以自动化管线支撑规模化处理。 目前，公司已与数家头部客户（包含头部具身大脑公司、头部世界模型公司、互联网大厂）达成合作，并上线 MaaS 平台，推动高精度 Ego 数据处理成为标准化服务。

近期，幂特科技展示了一项技术进展：仅通过头戴式 GoPro 采集的单目 RGB 视频，实时精准恢复人类手部的三维运动，并映射到机械臂及灵巧手，实现实时精细控制。

这一进展验证了数据转化链路中的关键能力：在演示场景中，从视频恢复三维动作，并映射为机器人动作。 用于机器人训练时，还需要结合本体约束、动作重定向和质量验证，形成可供模型学习的动作监督，并通过下游模型评测检验效果。

01.

从人类视频中，提取机器人可学习的动作信息

对于 VLA、世界模型等方向，人类视频提供了丰富的场景、物体与操作过程。三维姿态和空间轨迹则能够进一步描述手在什么位置、如何移动，以及动作在时间上如何衔接，为模型建立视觉观测与物理运动之间的联系提供信息。

机器人上下文学习（ICL，In-Context Learning）也在探索示范的另一种用法：模型在执行新任务时参考给定示范，而无需针对这次示范重新训练。已有研究在 RGB-D 视频条件下，从人类示范中提取任务片段和手部轨迹，将其作为上下文，引导机器人执行相应操作。

从训练阶段的动作监督，到执行阶段的示范参考，人类经验有了不同的使用路径。对幂特科技而言，高精度三维信息有望为这些路径提供更明确的动作描述。

过去几年，大语言模型通过海量数据训练实现了能力跃迁。如今，具身智能也正在探索自己的 Scaling Law。单目 RGB 视频依托智能手机、运动相机等普及设备，具备成本较低、易于获取、场景覆盖广等特点，为人类动作数据的规模化获取提供了入口。但单目视觉仍面临深度与尺度歧义、遮挡及轨迹漂移等挑战。

从易获取的视频，到准确、连续、可供机器人学习的三维动作信息，中间存在一条关键的技术鸿沟。

幂特科技选择聚焦的，正是这一数据编译环节。

02.

精度，决定了机器人究竟能从人类身上学到多少

在幂特科技看来，Ego（第一视角）数据处理的核心挑战，并不只是将手部动作重建出来，而是如何保证重建结果足够准确、连续，并具有可靠的三维空间结构。

在机器人操作任务中，微小的位置误差可能带来完全不同的执行结果。

例如，在抓取、插入、旋拧等精细动作中，指尖位置的偏差可能直接影响抓取点和接触关系；而相机运动轨迹的持续漂移，则可能破坏一段长时间动作在三维空间中的一致性。

对机器人而言，几何精度不只是视觉重建指标，更关系到动作监督信号的质量。

围绕这一问题，幂特科技持续投入单目 3D Hand Pose、SLAM 及环境生成重建等核心技术。系统通过单路 RGB 视频，重建连续的三维手部运动信息与相机空间轨迹，并在动作精确性、连贯性、场景泛化及处理效率等维度持续优化。

在团队现有的内部测试中，3D 手部姿态重建的 MPJPE 约为 1 厘米，经过刚性对齐后的 PA-MPJPE 达到毫米级；单目 SLAM 也在特定测试条件下取得了高精度的轨迹重建结果。

测试结果：在 Hot3D 数据集上测试的3D Hand Pose 精度与代表性方案的对比

（所有数值单位为 mm，越低越好）

相比单纯的视频识别，高精度 3D 结构化数据能够提供更明确的空间运动监督，为从人类动作到机器人动作的迁移（Ego2Robot）提供几何基础。

当这些三维轨迹进一步结合机器人本体约束、动作重定向和质量验证后，便有机会转化为用于机器人策略后训练的动作监督数据。

从“看懂人类在做什么”，走向“学习人类如何完成动作”，这正是高精度 Ego 数据的长期价值。

03.

自主真值体系，让精度可验证、可持续提升

单目重建算法的背后，还有一个容易被忽视的问题：

我们如何知道，算法恢复的三维动作究竟有多准确？

在复杂的第一视角场景中，手部遮挡、快速运动、视角变化以及单目视觉固有的深度与尺度歧义，都给精度评测带来了挑战。如果缺乏可靠的三维真值，算法的误差就难以被准确衡量，更难以形成持续改进的闭环。

为此，幂特科技自主构建了一套面向单目 Ego 数据的高精度动态 3D 真值系统。该系统实现动态场景下的绝对三维位置测量，为手部姿态重建、相机空间轨迹及相关算法提供标定和评测基准。

团队采用手部无标记点（Marker）的方案，端到端真值测量系统已达到约 0.2 毫米的测量精度。这一能力的价值，不只是获得一组更准确的测试数字。它意味着团队能够建立从真实运动测量、算法误差分析、困难场景定位到模型持续优化的技术闭环，并为后续构建高质量的训练与评测数据提供基础，也可实现真实环境与仿真环境联合评测。

尤其对于单目视觉这样的技术路径，可靠的真值体系能够帮助团队持续识别和改善复杂场景下的重建误差，提升算法的精度与泛化能力。

值得关注的是，高精度真值系统主要服务于算法研发和验证，而实际规模化处理的数据仍然来自普通 RGB 摄像设备。 团队由此能够利用高精度测量持续改善算法，同时保留通用单目视频在获取成本和规模上的优势。

对幂特科技而言，自主真值体系构成了支撑算法长期迭代的一项技术基础，这也是幂特科技正在构建的长期技术壁垒之一。

04.

从高精度算法，到百万小时级数据处理能力

高精度算法能否成为数据基础设施，还取决于它能否在复杂、海量的真实视频中持续稳定运行。

与标准化测试集不同，大规模 Ego 数据来自不同设备、视角和场景，光照变化、运动模糊、遮挡与动作差异都是常态。面对数十万乃至百万小时的处理需求，逐段人工检查和修复难以支撑长期扩展，高精度必须与场景泛化、自动化处理能力共同成立。

在已验证的生产场景中，其自动化数据处理管线可实现视频数据的连续、自动化处理，减少人工干预，并具备对高遮挡、各类手套、昏暗、过曝等复杂真实场景数据进行稳定、高精度处理的能力。

这些生产实践，让团队能够在真实客户需求中检验算法的稳定性与处理效率，并将实验室中的技术能力逐步转化为可规模化交付的数据服务。

对于大模型客户而言，数据服务的真正价值，不只是单小时的处理成本，而是能够持续获得多少高质量、标准一致、可以进入训练流程的数据。

高精度决定了数据的可用性，场景泛化决定了数据的覆盖范围，而自动化能力则决定了数据生产能够达到的规模。

当具身模型的数据需求不断增长，数据处理管线本身的自动化、稳定性与质量一致性，将逐渐成为重要的基础设施能力。

05.

MaaS 平台，让高精度 Ego 处理成为标准化服务

在核心算法和自动化处理管线的基础上，幂特科技近期上线了面向单目 Ego 数据的 MaaS 平台，将高精度数据处理能力进一步开放为标准化服务。

用户可以通过平台上传单目 RGB 视频，调用 3D 手部姿态及空间轨迹重建能力，将原始视频处理为更具训练价值的三维结构化数据。

用户还可以在浏览器中同步查看原始视频与三维重建结果，通过回放和视角切换，直观观察手部动作。处理后的数据由此变得可见，也更便于理解和检查。

平台面向多种主流单目 RGB 视频来源，包括 iPhone、GoPro，以及 RealSense 等设备的 RGB 视频流。用户无需依赖特定型号的专业采集硬件，即可利用常见设备开展数据处理任务。

对于机器人公司、具身模型研发团队和研究机构而言，原本需要专业算法团队搭建的复杂数据处理流程，有望以更加低门槛、更标准化的方式获得，减少重复搭建数据处理能力的投入。

MaaS 平台也让幂特科技的技术积累有了可复用的产品载体。从定制化项目到标准化处理管线，再到线上服务，公司正在将高精度 Ego 数据处理转化为可持续扩展的基础设施能力。

其定位由此更加清晰：以广泛可获取的 RGB 视频为输入，以高质量的三维动作与空间结构为输出，连接人类真实经验与机器人训练需求。这一定位既不依赖某一种特定的数据采集设备，也能够与不同的上游数据来源和下游模型训练需求形成协同。

06.

下一代具身数据基础设施：让每一小时人类经验产生更大的训练价值

随着具身智能向更通用的机器人能力迈进，一个重要趋势正在变得清晰：数据规模固然重要，但数据中究竟包含多少可学习的物理信息，同样重要。

同样是一小时 Ego 视频，只有原始图像，与同时具备准确三维姿态、空间运动轨迹和连续动作结构的数据，其潜在训练价值并不相同。前者记录了物理世界中发生的事情，后者则更进一步，将部分物理过程转化为模型可以利用的结构化信号。

而要让这种能力真正服务于具身智能 Scaling，还需要兼顾数据来源的广泛性、处理精度和规模化生产效率。

围绕这一目标，幂特科技正在形成相互支撑的能力体系：高精度重建提取动作信息，自主真值体系支撑质量评测与持续迭代，自动化管线和 MaaS 平台推动规模化交付。

未来，随着更完整的物体交互信息与跨本体动作映射能力逐步补齐，更广泛的人类行为经验有望进一步转化为机器人预训练与后训练所需的数据资源。

幂特科技希望建立的，是连接人类物理经验与机器人学习的数据编译基础设施，让真实世界中的动作更准确、更高效地成为机器人的学习信号，为具身智能的持续发展拓展数据空间。

目前，幂特科技持续面向具身智能大模型、VLA、世界模型及机器人研发团队开展高精度 Ego 数据处理合作。欢迎通过公众号后台交流技术、数据处理需求及 MaaS 平台体验。

来源：机器人大讲堂