我们是否正在用现有机器人的能力边界，限制对下一代具身数据的想象？

过去几年，具身智能的数据采集很大程度上围绕机器人本体展开。机器人、机械臂、灵巧手，决定了数据如何采集、动作如何表示，以及最终能够用于哪些模型。真机数据能够提供真实的执行状态与环境反馈，却受到设备数量、采集成本和任务环境的限制；互联网视频拥有丰富的人类行为和场景信息，却很难直接提供机器人训练所需的精细运动学与物理交互监督。

这种以机器人本体为中心的数据采集方式有其合理性，但也容易形成路径依赖：我们倾向于采集机器人已经能够执行的动作，再用这些数据训练机器人完成更多类似的任务。然而，人类在真实世界中积累的操作经验，远远超出了当前机器人能够执行的任务范围。

拧开一个瓶盖，看起来只是一个简单动作。手伸向瓶身，手指调整位置并建立接触；一只手固定瓶身，另一只手改变抓握姿态，直到瓶盖松开。整个过程中，人还会根据物体移动、手指受到的阻力和视觉反馈不断调整。

对于机器人而言，这些经验并不容易获得。一段视频可以记录操作过程，却不一定能看清被物体遮挡的手指，也无法直接测量手与物体之间的接触。即使已经获得人手轨迹，机器人仍需要面对不同的手部结构、运动范围和传感器。

这也是 Human Data 正在解决的问题：如何从人类与真实世界的交互中，获得机器人能够使用的训练信号？

机器人训练数据有多种来源，包括真机操作数据、仿真数据、互联网视频和人类第一视角示范。它们记录的信息不同：机器人本体采集的操作轨迹能够提供明确的动作与执行反馈，但采集成本较高，受到机器人本体、任务环境和部署条件限制；互联网中的图像和视频拥有丰富的场景和行为信息，却很难直接提供精确的运动学和接触标签。

人类在真实世界中积累了大量自然发生的操作经验。从拿起杯子、整理衣物，到拧瓶盖、插拔连接器、处理工具，这些经验覆盖不同人员、物体、环境和任务。问题在于，如何将这些自然发生的人类技能转化为机器人可以学习的数据？

近期研究已经开始从不同层次回答这个问题。

Apple 的 EgoDex 使用 Apple Vision Pro 采集 829 小时第一视角视频，并同步获得三维手部和手指追踪数据，覆盖 194 项桌面操作任务。它试图解决大规模自然视频缺少精细手部运动标签的问题。

NVIDIA 的 EgoScale 使用超过 20,000 小时带动作标签的 Ego Video 进行 VLA 预训练，研究人类视频数据规模与机器人灵巧操作能力之间的关系。Microsoft Research 的 VITRA 则从没有动作标注的自然视频出发，通过手部重建和任务分段，构建超过 120 万条 Human Hand VLA Episodes。

而 TouchScale 将研究进一步推进到视觉与触觉联合学习，构建约 500 小时人类视触觉数据，并验证其对真实机器人操作的帮助。

Human Data 不再只是记录人类做过什么，而是开始记录人类如何观察、行动、接触、调整，以及这些交互如何改变物理世界。

GenRobot.AI 推出的 Dex 2.0 与 DAS Ego 2.0，正是围绕这一需求设计的两套采集设备。Dex 2.0 重点解决人类手部运动与物理接触的精细测量，DAS Ego 2.0 负责记录第一视角视觉、周身环境和头部运动。两者结合，尝试建立从全局观察到精细操作的头手一体数据采集系统。

Dex 2.0：让人类灵巧操作变得可测量

手部是人类与物理世界交互最频繁的部位之一，也是具身智能数据采集中最难完整记录的部分。

对于灵巧操作模型而言，仅仅知道手最终到达了什么位置是不够的。模型还需要理解各个手指的关节如何协同、抓握姿态如何变化，以及手指在什么时候、什么位置与物体建立接触。

这意味着手部数据采集需要同时解决两个问题：如何稳定测量关节运动，以及如何尽量不改变人类原本的操作方式。

侧置仿生外骨骼：在运动学约束与自然操作之间取得平衡

传统手部动作捕捉大致存在几种技术路线。

视觉方案通过图像中的手部关键点估计关节和指尖位置，不需要在手上安装复杂机械结构，但容易受到遮挡、光照、相机视角和手物交互的影响。当手指被物体或掌面遮挡时，部分关节状态很难仅凭图像可靠恢复。

柔性传感方案通常通过材料形变、电阻或其他传感信号推断手指弯曲。它对手部结构的限制相对较少，但材料本身也会形变、滑移和产生迟滞，传感器读数与真实关节角度之间需要经过标定和建模。

基于外部磁场的追踪方案可以通过磁场变化估计传感器位置或姿态，但测量结果可能受到工作环境中其他磁性材料和电磁设备的影响。

外骨骼方案则采用不同思路：通过机械结构建立传感器与人体关节之间的运动学关系，再直接测量关节运动。它能够提供明确的关节状态，但机械结构也可能扩大手部几何边界，限制部分动作，并引入人体关节轴与机械关节轴之间的偏差。

Dex 2.0 选择的是轻量化侧置仿生外骨骼路线。

它将机械关节结构布置在手指侧面，使其尽可能贴合人体关节的运动轴线，同时减少对手背、指腹和掌面等关键操作区域的占用。相比将机械结构集中布置在手背的设计，侧置方案能够为贴面拾取、掌内旋转和狭窄空间操作保留更多空间，让采集者在佩戴设备时仍能完成更加自然的手部交互。

在运动测量方面，Dex 2.0 将自研微型磁编码器集成到仿生关节内部，直接测量各关节的旋转角度。Dex 2.0 支持 21 DoF 手部运动捕捉，单手配置 21 个独立关节编码器，关节角度精度为 0.2°，微型化关节结构厚度约 3 mm，外骨骼主体重量约 55 g，整套手套重量约 150 g。

这里需要区分关节测量与完整手部姿态重建：编码器直接提供的是局部关节角度，完整手部姿态和指尖空间位置仍需要结合手部运动学模型计算。其优势在于，能够直接获得具有明确运动学含义的关节状态，为后续手部姿态重建、动作轨迹分析和机器人动作重定向提供基础数据。

从设计上看，Dex 2.0 将机械结构、运动测量和自然操作结合起来考虑：侧置布局尽可能释放手部操作空间，仿生机械关节建立人体手指与传感器之间的运动学关系，微型编码器则提供精细的关节角度测量。这使得可穿戴设备不再只是记录手部外观，而是能够获得结构化的手部运动学数据。

这一技术路线也有相应的研究探索。DexUMI 使用可穿戴外骨骼作为人类操作与机器人灵巧手之间的接口，并结合 Hand Inpainting 减少人手与机器人手在视觉外观上的差异。该研究在两种不同机器人灵巧手平台上进行了真实任务实验，报告平均成功率为 86%。

可穿戴外骨骼的价值不仅在于获得精细的人类手部运动数据，还在于为 Human-to-Robot Retargeting 提供运动学基础。通过进一步的运动学映射、动作约束和视觉适配，人类操作经验可以被转换为不同机器人本体能够使用的动作表示。

Dex 2.0 的侧置仿生外骨骼与关节内编码器，为这一过程提供了更精细的人类手部运动数据。结合后续的跨本体重定向与策略学习，这些数据不仅可以用于人类操作行为建模，也能够进一步服务于机器人灵巧操作训练。

半柔性全手电子皮肤：从关节运动走向物理接触

关节运动只能描述手如何移动，却不能完整描述手与物体之间发生了什么。

以旋转瓶盖为例，手指需要持续建立接触、调整抓握力度，并根据瓶盖运动状态改变施力方式。仅有手指关节轨迹，很难判断接触何时发生、接触位置是否变化，以及操作过程中是否出现滑移。

这也是触觉数据的重要性所在。

Dex 2.0 采用自研半柔性压阻式电子皮肤，将触觉覆盖扩展至手部主要交互区域。单手配置 16 块触觉传感器，共 980 个感知触点，触觉空间分辨率为 1 mm，最小检测力为 0.1 N，采样率为 100 Hz。

与单纯增加传感器数量相比，这套方案更值得讨论的是材料形变和传感单元之间的干扰。

压阻式传感器通过受力引起的电阻变化感知压力。它能够以相对直接的方式将接触载荷转换为电信号，但传感器本身也会受到材料结构、安装方式和受力状态的影响。

对于可穿戴手部设备而言，传感器必须贴合手指和掌面的曲面，同时承受持续弯曲、抓握和接触。若材料过于柔软，可能在拉伸、剪切和褶皱过程中产生额外形变；若结构过于刚硬，又可能影响手部运动和接触关系。

Dex 2.0 采用半柔性结构，尝试在曲面贴合与形变稳定性之间取得平衡。其设计目标是减少织物拉伸、滑移和褶皱带来的运动伪影，并通过传感单元与阵列结构设计降低机械和电磁串扰，使真实接触尽可能集中地反映在对应感知单元上。

为什么串扰如此重要？

假设食指指腹实际只接触了一个小物体，但相邻传感单元也产生了响应，模型接收到的触觉分布就可能比真实接触范围更大。反过来，如果某些区域因贴合不良或传感器漂移而漏检，模型又可能低估接触面积和压力分布。

这类问题并不只是传感器性能问题，而是监督信号质量问题。模型无法天然区分哪些触觉响应来自真实接触，哪些来自设备本身的形变和干扰。

因此，全手触觉系统需要同时关注三个指标：空间覆盖、接触定位和信号稳定性。Dex 2.0 的 980 个触点和 1 mm 空间分辨率主要描述其传感阵列规格；0.1 N 是最小检测力指标，不能直接等同于压力测量误差或所有材料接触条件下的检测精度。

耐久性方面，产品资料披露，单片传感器可承受超过 100 万次法向按压及 10 万次弯折与拉伸，并支持 IP67 防护。这些设计面向长期佩戴和真实场景采集，但实际长期使用中的零点漂移、灵敏度变化、迟滞和重复性，仍需要更完整的测试数据来评价。

关节编码器记录手如何运动，电子皮肤记录手如何接触物体。两者结合，才有机会让模型同时获得动作和物理交互的监督，而不只是学习抓取动作的视觉外观。

近期研究已经开始研究如何将两类信号联合建模。DexViTac 构建了包含第一视角视觉、高密度触觉、末端位姿和手部运动学的采集系统，获得超过 2,400 条多模态示范，并提出 Kinematics-Grounded Tactile Representation Learning，将触觉特征与手部运动学状态结合，减少局部触觉信号的语义歧义。论文报告，所提出的方法在四项真实机器人任务中取得超过 85% 的平均成功率。

高密度触觉数据并不是简单地将传感器读数交给模型。相同位置的触觉响应，在不同手部构型下可能对应不同的物理交互。将触觉与关节状态结合，才能更好地理解接触发生的位置、手指如何协同，以及接触如何随动作变化。

更进一步，TouchScale 构建了约 500 小时的人类视觉—触觉数据，包含头戴式 RGB-D、双腕部 RGB 和双手触觉手套。其触觉手套每只手包含 880 个感知单元，能够记录法向和剪切力。

TouchScale 不仅发布数据，还直接验证了数据对模型训练的价值。在跨传感器 Zero-shot Contact Prediction 中，使用完整数据训练后，模型在未见触觉传感器上的 Contact IoU 从 0.134 提高到 0.383。在四项真实机器人接触密集型任务中，加入 TouchScale 进行 Visual-Tactile Mid-training 后，平均成功率从 22.5% 提高到 57.5%。

TouchScale 的人类数据并不只是为机器人提供动作轨迹，而是让模型在机器人后训练之前，先学习视觉与接触之间的关系。模型能够从人类交互中获得接触先验，再通过机器人数据学习具体本体下的动作执行。

全手触觉数据的价值不只是增加一个输入模态，而是能否通过统一的运动学、视觉和触觉表示，学习可迁移的接触知识。

DAS Ego 2.0：从全局观察到局部动作记录

如果说 Dex 2.0 关注手部如何完成操作，那么 DAS Ego 2.0 关注的是人类在什么环境中观察、移动和执行这些操作。

传统单视角 Ego Camera 存在明显的观察范围限制。当人转身、弯腰、侧身或搬运物体时，关键目标可能离开相机视野。对于移动操作和 Humanoid 学习而言，手部动作并不是孤立发生的，它与人体姿态、头部运动及周围环境密切相关。

DAS Ego 2.0 采用六路同步摄像头，包括两颗 500 万像素相机和四颗 200 万像素相机，全部支持 30 FPS 和 Global Shutter。通过重新设计相机布局，系统将水平视野覆盖扩展至 340°，垂直视野最高可达 120°。

两颗核心相机从上一代的 200 万像素升级至 500 万像素，为 SLAM 定位和精细手部追踪提供更高分辨率的视觉输入。设备还集成 200 Hz IMU、麦克风，并支持约 4 mm 的指尖追踪精度。

更广的视野不只是增加画面数量，它的意义在于尽可能保留连续操作中的环境上下文。例如，人类搬运物体时需要不断改变身体朝向和移动位置；弯腰拾取物品时，手部动作与身体姿态同时变化；转身将物体放到另一张桌子上时，原始目标、当前操作位置和新的环境状态之间也存在连续关系。这些过程都需要更完整的视觉和运动观测。

不过，340° 视觉覆盖不等于已经完成全身三维动作重建。多摄像头图像、IMU 和指尖追踪提供了空间感知与运动估计的基础观测。进一步获得稳定的世界坐标系轨迹、全身骨骼和物体位姿，还需要空间标定、视觉重建和相应的数据处理算法。

这也解释了为什么 Ego 设备不应该只按照相机数量和像素评价。多摄系统还涉及相机之间的外参标定、图像时间同步、不同视角的几何关系，以及头部运动与环境坐标系之间的转换。

GenRobot 此前发布的 Gen-HumanEgo，已经展示了这条数据处理路线的一部分。数据集包含 1,847.7 小时人类第一视角示范、44,632 个 Episodes 和 10,257 项任务，使用六摄 DAS-Ego 采集，并通过 Data Foundation Model 处理得到 3D 手部关键点、MANO 参数、完整手部几何、深度图和分层任务标注。Ego 设备采集的原始多视角视频可以进一步转化为包含运动、空间和任务监督的结构化数据。

多摄像头采集解决的是观测范围问题，但原始视频本身并不等于结构化动作数据。要从多视角画面中恢复手部运动，还需要处理相机标定、跨视角关联、手部几何重建和任务分段。最终得到的手部关键点、MANO 参数和深度信息，才能进一步用于动作建模、轨迹分析和跨本体重定向。这也意味着，Ego 设备的价值不仅在于记录更多画面，还在于为后续的数据重建提供更完整的观测条件。

Ego + Wrist Camera：从全局观察到局部动作记录

头部相机能够记录人正在什么环境中执行任务，但对于手部与物体之间的局部交互，单纯依赖头部视角仍然存在观察盲区。当手接近物体时，手指可能被物体或另一只手遮挡，抓握过程中的细微姿态调整、接触位置变化和局部运动也不一定能够被清楚记录。

腕部相机提供了另一种观察方式。与头部相机侧重全局环境和任务过程不同，腕部相机持续补充手部附近的局部画面，让同一次操作同时拥有全局和近场两个观察视角。

以拧开瓶盖为例，头部相机记录人如何观察瓶子、调整身体位置，以及整个操作过程；腕部相机则进一步记录手从哪个方向接近瓶盖、手指如何调整位置、手与瓶身和瓶盖之间如何发生相对运动，以及接触过程中可观察到的局部形变。

这种全局与局部视觉的组合，能够更细致地描述一次操作从接近、调整到拿起的变化。结合相机标定与轨迹重建，可以将不同视角下的画面建立空间对应，进一步组织精细动作片段，并对齐全局任务过程与局部手部运动。

腕部视觉的价值不只是增加一个拍摄角度，而是提高局部动作的可观测性。它在保留视觉采集方式相对轻量化优势的同时，增加了对手物交互过程的记录深度，为大批量精细动作数据生产提供了另一种选择。

从视觉动作记录到原生运动学与触觉监督

当任务对手部运动精度和物理接触信息提出更高要求时，仅依靠视觉仍然存在局限。

Ego + Dex 进一步引入 Dex 手套，通过关节编码器和全手触觉传感器，直接记录人类手部构型、关节运动变化与接触信息，并与第一视角及腕部视觉建立对应关系。

由此，DAS 2.0 形成了三种不同的数据采集配置：Ego 侧重全局视觉与场景覆盖；Ego + Wrist Camera 在保留视觉采集方式的基础上，增加局部动作记录的深度；Ego + Dex 则进一步提供原生运动学与触觉监督。

三种配置并不是简单的硬件升级关系，而是对应不同的采集成本与监督粒度。Ego 可以扩大人员、任务和环境分布，Ego + Wrist Camera 可以补充更精细的局部动作信息，Ego + Dex 则为关键关节状态和物理接触提供更直接的测量依据。它们可以根据任务复杂度和训练需求组合使用，而不必要求每一条数据都具备完全相同的传感器配置。

从单台设备到规模化采集终端

Ego 2.0 的另一项升级，是对实际采集流程的考虑。

设备支持 Android / iOS App、一键录制、语音状态提示、头姿检测和头发遮挡检测，并支持 OTA 升级、标准 MCAP 数据格式和批量后处理。

整机重量约 400 g，不含电池包，单电池包续航约 2.5–3 小时，采用磁吸式电池设计，支持不关机更换。

这些工程细节实际上影响着 Human Data 能否规模化生产。多人员、多场景并行采集不仅需要传感器正常工作，还需要统一的数据记录、设备管理、异常提示和后处理流程。

尤其是采集质量控制。头戴设备的佩戴位置、头发遮挡和长时间使用中的设备状态，都可能影响最终数据质量。将部分检查前移到采集阶段，有助于减少无效数据和重复采集。

头手一体：让多模态数据描述同一次交互

Dex 2.0 与 DAS Ego 2.0 组合后，不同模态能否在时间上描述同一次物理交互。

以旋转瓶盖为例。

Ego 2.0 记录人观察到的瓶盖、瓶身及周围环境，同时记录头部运动；Dex 2.0 记录手指接近瓶盖时的关节变化，腕部相机补充近场视觉，电子皮肤记录指尖建立接触后的压力变化。随后，手指调整抓握姿态并完成旋转，视觉继续记录瓶盖和物体状态的变化。

如果这些数据只是分别录制，再依赖文件时间戳进行事后匹配，就可能受到操作系统调度、通信传输、数据缓存和驱动队列等因素影响。尤其在快速抓取、接触点切换和插拔操作中，时序误差可能让画面与动作标签无法准确对应。

为此，Dex 2.0 与 Ego 组合采用统一时基、硬件触发和相机快门曝光控制，在采集源头规定相机曝光以及关节、触觉信号的采样时刻，实现头部视觉、腕部视觉与手部状态的 1 ms 级时间对齐。

这里需要区分同步精度与传感器采样频率。1 ms 级同步不意味着 1 ms 的视觉时间分辨率。Ego 相机仍以 30 FPS 工作，DEX 触觉采样率为 100 Hz，IMU 则为 200 Hz。硬同步解决的是不同传感器时间轴之间的对应问题，而不是让所有模态拥有相同的采样频率。

同时，时间同步也不等于空间标定。即使视觉、关节和触觉信号在同一时刻采集，如果相机外参、手套与人体之间的坐标关系没有得到准确标定，不同模态仍然可能无法在空间中正确对应。

因此，多模态对齐实际上包含两个问题：时间上是否同步，空间上是否处于一致的坐标关系。前者由统一时基和硬件触发提供基础，后者还需要依赖标定和空间重建流程。

从数据表示来看，这套系统试图建立一条连续的交互序列：

观察 → 动作 → 接触 → 反馈 → 调整 → 结果

视觉描述任务环境和物体状态，关节运动描述手部如何执行动作，触觉描述接触过程，后续视觉则记录交互带来的环境变化。

对于 VLA、VTLA 和 World Model，这种数据结构提供了比孤立视频或动作轨迹更丰富的监督信息，使模型有机会学习动作如何引发接触、接触如何改变物体，以及反馈如何影响后续动作。

从 Human Skill 到 Robot Skill

人类数据采集还面临另一个问题：人类能够完成的动作，并不天然等于机器人能够执行的动作。

无本体 Human Data 的优势是采集范围广。采集者不需要依赖特定机器人，可以在家庭、工厂、物流中心和开放环境中完成自然任务，记录不同人员、物体和场景中的操作经验。

但人类手部的关节布局、运动范围和灵巧程度，与机器人灵巧手并不相同。即使获得了高精度的人手关节轨迹，也不能直接将其作为任意机器人本体的控制指令。

机器人遥操作则提供另一种数据来源。通过将人手运动状态映射为机器人关节控制输入，并针对不同灵巧手的自由度、关节布局、运动范围和控制接口进行适配，可以记录机器人实际执行过程中的状态和任务结果。

Dex 2.0 同时支持无本体 Human Data 采集与机器人灵巧手遥操作，两种模式共享运动测量、时间同步和数据接口。

这两种模式解决的是不同问题：无本体采集负责扩大人类技能和场景覆盖，遥操作则将动作映射到具体机器人本体，获得执行过程与反馈。

由此可以形成一条数据链路：

自然人类示范 → 统一技能表示 → 跨本体重定向 → 机器人执行 → 结果验证 → 失败数据回流

这条链路的关键在于中间的数据适配。人手与机器人手之间需要进行运动学映射、坐标系转换和动作约束处理；人类触觉与机器人触觉也需要建立适合具体传感器和任务的表示方式。

例如，人类手部的 21 DoF 不能直接映射为所有机器人灵巧手的控制维度。不同机器人可能具有不同的关节数量、驱动方式和运动范围，同一个人类抓握动作也可能对应多种机器人执行策略。

触觉迁移同样如此。人类手部的触觉分布可以提供接触位置和压力变化的监督，但机器人端的传感器布局、材料特性和受力结构并不相同。如何将人类接触信息转化为机器人可用的接触表示，仍然需要专门的映射和学习方法。

DexUMI 通过外骨骼和视觉替换分别处理运动学与视觉差异。DexWild 则使用 9,290 条人类示范和机器人数据联合训练策略，覆盖 93 个真实环境，报告在未见环境中的成功率达到 68.5%，约为仅使用机器人数据训练策略的四倍，并获得 5.8 倍的跨本体泛化提升。

近期 TouchBridge提出 Tac-Retarget，将人类手指的真实接触信息用于跨本体动作重定向。传统运动学重定向主要匹配关节姿态或指尖位置，但指尖位置接近并不代表接触关系相同。机器人可能出现接触点偏移、接触面错位，甚至手指穿透物体等问题。

TouchBridge 通过接触图和指尖接触区域对齐，保留不同手型之间的接触关系，并结合视觉合成和相机坐标系动作转换，生成机器人域训练数据。四项真实接触密集型任务中，使用人类转换数据微调的策略平均成功率为 72.5%，等量遥操作数据训练的策略为 77.5%；成功示范的平均采集时间分别为 11.7 秒和 81.7 秒，前者约快 7 倍。

跨本体迁移不一定要把人类手指的每一个关节角度都准确复制到机器人。对于接触密集型操作，真正需要保留的可能是接触点、接触区域及其相对关系。触觉因此不仅是一个额外的训练模态，也可能成为人类动作转换为机器人动作时的重要约束。

Dex 2.0 的全手触觉采集记录的不只是手指施加了多大压力，还可能为后续跨本体接触关系重建提供监督。

Human Data 的下一阶段：从采集规模走向有效监督

过去讨论具身数据时，规模往往首先表现为采集小时数、Episode 数量和任务数量。但对于 Human Data 而言，数据规模并不能独立代表数据价值。

如果设备干扰了人的自然动作，关节标签就可能偏离真实技能；如果触觉信号包含大量材料形变和传感器串扰，模型可能学到错误的接触模式；如果视觉、动作和触觉无法准确对齐，多模态数据也可能失去原本的物理对应关系。

因此，Human Data 的规模化至少需要同时考虑三个维度：

第一是采集广度，能否覆盖更多人员、物体、任务和真实环境；

第二是监督密度，能否从视频进一步获得关节、接触、物体状态和交互反馈；

第三是迁移价值，能否通过统一的数据表示和跨本体适配，让同一批人类技能被不同机器人平台使用。

在此基础上，Human Data 的用途还可能从动作模仿进一步扩展到物理交互预测。

DexTouch-WM 研究如何利用人类触觉数据训练 Action-Conditioned Tactile World Model，同时预测未来视觉状态和双手触觉动态。它在实验中固定 5 小时机器人数据，将人类交互数据从 0 小时增加到 100 小时，观察到机器人域中的视觉、几何和接触预测持续改善，即使人类和机器人预训练任务集合并不重叠。

其关键设计是在人手与机器人灵巧手上使用共享布局的柔性压阻式触觉阵列，并将人类动作重定向到机器人动作空间，使两种 Embodiment 的触觉观测和动作条件能够进入同一个预测模型。

人类触觉数据的价值可能不止是提供一条接触标签或一段模仿轨迹，还可以帮助模型学习接触之后物体如何变化、压力如何重新分布，以及动作如何影响未来物理状态。

回到Dex 2.0 与 DAS Ego 2.0，它们试图解决的是从自然人类操作到结构化多模态数据采集这一环节：Ego 提供全局观察和环境上下文，Dex 提供精细运动与接触测量，头手硬同步建立不同模态之间的时间对应，双模式采集则进一步连接人类示范和机器人执行。

但采集设备只是 Human Data Pipeline 的起点。原始信号如何标定、手部与物体如何重建、触觉如何去噪、任务如何切分、动作如何重定向，以及训练之后能否在真实机器人上获得收益，仍然决定这些数据能否真正转化为机器人能力。

具身智能需要的不只是更多人类视频，而是能够描述人类如何观察、行动、接触和调整，并能进一步转化为机器人可学习监督的真实交互数据。

来源：human five