
“ 当具身智能比拼视觉大模型的同时,触觉感知正成为决定机器人灵巧操作上限的隐形关键。
美国时间 11 月 9 日,机器人学习顶会 CoRL 2026 于奥斯汀召开。英伟达 GEAR 团队联合负责人 Jim Fan 在主题演讲发布 GR00T 2,一个 20 亿参数的机器人大模型,同时公布覆盖模型、仿真、数据集、硬件设计的完整开放计划。演讲没有引出行业寒冬的论调,反而以 “Summer is coming” 收尾,判断机器人赛道正迎来关键的发展窗口。
按照规划,DexUMI 硬件设计已经开源,Human1M 首批 10 万小时示范数据现已上线,模型权重与完整代码预计 12 月对外开源。我们回查英伟达公开的 DexUMI 硬件物料清单,整套外骨骼 12 个触觉点位的制造商与型号一栏,写的都是他山科技。而在此之前,他山已是英伟达 Isaac Sim 触觉仿真合作伙伴。
Jim Fan 在演讲中提出一个关键观察:为完成高层次语义理解,视觉编码器会主动丢弃大量低级细节,而这些细节恰恰是机器人灵巧操作不可或缺的输入。DexUMI 的定位,就是补齐视觉丢失的接触信息。接触信号独立单路采集,在多个标杆项目里落地验证:DexUMI 开源 BOM 明确列明 12 个触觉传感器型号,Isaac Sim 同步收录对应仿真模型,今年 9 月 Reward AI 的 OM-1 同样将触觉置于链路核心。模型端承认视觉的信息短板,硬件端把触觉传感器标准化为可采购器件,这是产业顶层形成的共识。
之所以选择他山这套电容式触觉方案,不只是为了实现软硬仿真对齐、器件可采购、规格标准化,其底层技术能力同样是关键砝码。方案原生支持三维力检测与接近觉,触觉信号本身的信噪比、动态响应、多点一致性,适配灵巧手抓取、滑移判别这类精细交互;它可以原生接入 DexUMI 的开源采集链路,传感器物理输出特性、噪声模型、形变响应都能和 Isaac Sim 里的仿真模型一一映射。对英伟达这套面向灵巧操作的示范数据集体系来说,传感器本身的触觉性能、仿真 - 实物的高保真对齐、商用可落地、规格可复现,四项是并列的优先考量。
而要理解 DexUMI 这套触觉补充机制的价值,需要回到它的前身来看。英伟达此前做过一款叫 UMI 的手持采集设备,外形是一只握在手里的夹爪,人拿着它在真实场景里做动作,摄像头记录手的轨迹,人的操作就这样被转成机器可以学习的示范数据。

英伟达早期的 UMI 手持采集夹爪,人握着它在真实场景里完成动作
DexUMI 把这套采集思路从 “手持” 搬到了 “整只手”:夹爪换成了可穿戴外骨骼,外骨骼的手指关节与机器人手指建立起一一对应的机械映射,人手弯曲多少、扭转多少,机器人的手指就跟着弯曲、扭转多少。人戴着它完成抽刀、切香蕉、揭盖、舀取这些动作,编码器记录关节角度,触觉传感器记录接触力,相机记录物体位置,几路采样率完全不同的信号被拉到同一条时间轴上同步落盘。

Jim Fan 在演讲中展示 DexUMI 外骨骼与目标灵巧手的关节对应关系
项目公开的硬件物料清单清晰标注了这套装置的全部构成:整套外骨骼部署 12 颗他山触觉传感器,含 10 颗指尖传感器、左右掌心各 1 颗,制造商与具体型号一并写明。传感器支持一维至三维力检测,测力分辨率 0.01N,同时具备 2 厘米接近觉能力。而在 DexUMI 之前,他山科技已经是英伟达 Isaac Sim 的触觉仿真合作伙伴。

比起 “国产传感器入英伟达硬件清单” 这个表层事件,更值得关注的变化是:触觉感知已经从灵巧机器人的可选配件,变成这套开源采集系统里不可省略的标准化硬件条目。
01.
视觉天生缺失接触力,必须单独补一路信号
GR00T 2 可以接收语言指令、多视角图像、机器人本体状态,依靠同一个扩散模型联合预测画面与动作序列。它的预训练数据以大量人类第一视角视频为主,但整套模型输入链路里,本身并不包含接触面的力信号。模型参数再大,数据中不存在的物理量也无法凭空推演出来。

摄像头能记录手的运动轨迹、物体被抓取的结果,却捕捉不到大量关键中间状态:指腹按压果皮时的力度、瓶盖拧到松动那一刻的临界点、物体在指尖内部的微小打滑。这类接触事件的时间尺度极短,往往短于单帧视频的时间分辨率,只能靠布置在接触面上的传感器单独采集一路信号。
面向高速分拣的抓取场景很能说明问题:从看见物体、伸手靠近,到接触抓取、完成投放,整套动作往往压缩在极短时间窗口内。视觉、触觉、接近觉、手部姿态各有原生采样速率,如果简单把高频触觉信号强行对齐到视觉帧率,滑移、力方向快速变化这类关键信息,会在重采样中被平均掉。
而这套电容式传感器输出的是连续时序信号,可以在同一条时间轴上同时记录三件事:手部距离物体的远近、真实接触发生的时刻、接触之后力的大小与方向。这是单纯视觉采集做不到的。
02.
12 颗传感器分段覆盖完整接触过程
知道为什么要补一路接触信号,还要看这套装置怎么把它补全。DexUMI 给出的答案是:用一套位置明确、型号明确的硬件布局,把接触前、接触瞬间、接触之后的物理变化分段记录。整套物料清单除 12 颗触觉传感器之外,还包括 2 台 OAK1W 相机、2 台 iPhone15 Pro、30 个编码器、2 块 DexUMIP 主线板。

12 颗传感器分工清晰,每一类对应一类物理事件。

DexUMI 指尖与掌心位置的他山科技触觉传感器
接触还没有发生的时候,2 厘米的接近觉先起作用。电容场在物理触碰之前就能感知距离变化,精准标记出接触事件的起始时刻。真正碰上之后,指尖 10 颗三维力传感器接住这一棒,0.01N 的分辨率足以捕捉极微弱接触,比图像更早感知刀刃碰到果皮、酸奶盖开始微微开裂这类细微变化,并还原多方向受力。而针对托碗、扶罐、双手传递物体这类掌面大面积受力场景,左右掌心各一颗传感器独立读数,保证双手交互时力数据的时序对齐。
在 GR00T 2 的早餐任务演示中,整套实验全部依靠 DexUMI 完成示范采集。抽刀的阻力、切香蕉的下压力、揭盖时的指腹滑移、舀取麦片的负载、双手交接的力分配、掌心托举碗的支撑力,全属于摄像头 “只看得到结果、看不到过程” 的物理量。
把传感器数量、安装位置、硬件型号全部写进公开清单,意义远不止于物料采购。当每一个感知点位都可以逐项核对,外部实验室才有可能复刻这套采集装置;一旦缺少指定传感器,不同实验组的数据差异就找不到归因的依据。
03.
多条路线之中,他山科技为何适配这套设备
把型号写进清单,解决的是 “能不能复刻”;至于为什么偏偏是他山科技的电容式,还得回到设备本身。机器人触觉并不只有一条技术路径,视触觉、电容式、压阻式、磁感应、光学方案都已有成熟产品,不同方案在量程、精度、成本上各有取舍,适配不同工况。 但如果把范围收窄到穿戴式灵巧示教、多点分布式触觉采集这一类场景,产业选型已经明显收敛,电容路线正在成为这个方向的优先选择。很多方案单项参数亮眼,却在薄型化、多点一致性、信号同步、仿真适配、长期稳定性这些整机约束上短板突出,很难适配 DexUMI 这类设备。

它是一只戴在人手上的外骨骼。指尖空间狭窄,手指要大幅度屈伸,12 个感知点位分散在指尖和掌心,还要与编码器、相机共用同一套穿戴结构。这些条件落到传感器层面,体积和功耗先划出一道所有路线都要过的门槛:传感器得嵌得进指尖和掌面,不妨碍手指大幅度屈伸,也不额外拖一套成像单元和算力。
DexUMI 更较真的是后面几项:12 个点位要输出同一种连续量测,接触前、接触瞬间、接触之后能落在同一条时间轴上互相比较;同一颗传感器内部各点位表现要足够一致,外部实验室照清单复刻时,两组数据的差异才找得到归因。这正是他山这套电容方案+自研芯片链路打包出来的优势。
还有一条要求不在传感器本身,而在整条链路上。DexUMI 要同时记录关节角度、图像和接触力,编码器给出角度,相机给出图像帧,触觉传感器给出力的时序数值,三类信号得能对齐到同一根轴上落盘。他山这类电容传感器输出的就是带时间戳的连续数值,可以直接进链路;如果换成一种先要存成图像、再靠算法解算才能得到量化力值的感知方式,这套设备就得多加一道换算与同步的工序。
所以这次选型的逻辑,是在穿戴式多点采集这个特定目标下,把体积、功耗、可嵌入性、信号形态几条现实条件摆在一起看,电容式恰好每一项都落在可用区间内。它靠的不是某一项参数胜出,而是全栈方案的综合可控性——这也是选型最终落定的原因。
04.
同一套原理,从单点 OM 1 长到整手 DexUMI
这套电容式感知并非第一次出现在前沿机器人系统里。今年 9 月,Reward AI 发布的 OM-1 穿戴采集系统,同样把触觉放在采集链路的关键位置。
两者的底层硬件原理一致,但采集范围和任务目标完全不同。OM-1 同样依靠高频触觉 + 接近觉感知抓取交互,聚焦不足一秒的高速抓取场景;DexUMI 则把同类型感知单元铺到整手的 12 个点位,每个点位独立采集接近距离与三维力,完整记录一整套灵巧操作全流程里的力变化。
DexUMI 装的是 TS-F-B-X1 指尖传感器,掌心则是 TS-M-X1-L/R,用后缀区分左右手。仿真侧对应的是另一套型号:英伟达 Isaac Sim 里登记的 TS-F-A 已经拿到官方 Certified 认证,它是按真实传感器建模、供开发者在虚拟环境里调用的仿真版本,而不是要装到手上的实物。一个采真实数据,一个在虚拟环境里还原同一套触觉特性,两层各有各的型号,也各有各的用途。
实物型号和仿真型号并存,是这套方案和一般传感器厂商不太一样的地方:交出去的不只是一个能装到手上的传感器,还有一份能在虚拟环境里调起来的对应模型。触觉感知因此不只在物理层面成立,在仿真里也有可复现的对应物。
05.
硬件完整开源,验证权交给外部实验室
英伟达已经把 DexUMI 的硬件设计对外开源。高校与科研团队可以直接照公开清单采购对应型号传感器,按文档完成装配,再调用 Isaac Sim 里经过认证的触觉仿真模型,配合已经上线的 Human1M 数据集,整套触觉数据采集链路可以被完整复现,之后再用采到的数据去做模型微调。
DexUMI 官方开源的 XHand 外骨骼 CAD 模型(图源:dex-umi.github.io)
这套开放真正的价值,是让更多人能进来。传感器型号、安装点位、仿真模型全部公开之后,任何一支团队都不必先花几个月摸清硬件底细,照清单采购装配就能跑起来,把时间放在算法和任务本身上。参与的人多了,被采集的场景才会变多,数据覆盖的接触类型才会变宽,这套链路也才有机会长成行业真正的公共底座。横向对比是参与者足够多之后自然长出来的结果——大家站在同一套硬件上,数据才谈得上可比。
Jim Fan 在演讲中把开放范围覆盖到模型、仿真、数据集、硬件四层;GEAR 团队科学家 Yuke Zhu 也确认硬件与首批数据集已经开放,完整模型与代码计划 12 月放出。BOM 传感器型号、仿真模型、示范数据集一并交出,等于把这套触觉采集链路定位成可供行业复用的基础组件。
对机器人科研来说,一条触觉路线值不值得跟,最终要看有多少团队能自己动手把它跑起来。硬件可复现、采集方式可复现,后来者才愿意基于它继续做;愿意上手的人越多,这条路线被检验的次数就越多,它到底好不好用,由这些实际动手的团队来给答案。
06.
结语与未来
硬件创业公司的竞争力,正在慢慢脱离单纯的参数比拼,转向整套方案的可复现能力。他山科技这次给出去的不只是 12 颗传感器,还有可以逐项核对的指标参数,以及经过官方认证的仿真模型。
这套触觉传感器进入国际顶级机器人项目的开源链路,最实在的价值是整套方案能被逐点复现。当接触层的感知能力从产品参数变成公开物料清单上的标准条目,这条触觉技术路线,才真正拥有了被全行业研发团队反复调用的基础。
来源:机器人大讲堂