田晏林 发自 凹非寺
量子位 | 公众号 QbitAI
连AI都开始琢磨怎么自己教自己了,机器人却还在为学习人类动作狂补课?!
现在AI圈里,Agent、Coding Agent、RSI(递归自我改进)这些概念,一个比一个热闹。
具身智能的朋友却倍感压力,甚至隐隐有了种「快被通用大模型打趴下」的焦虑。

前几天,Claude还发文说,Fable 5.2在未针对特定任务进行专门训练的情况下,展现出了控制物理机器人的能力。
紧接着,Google DeepMind又拿出新一代VLA模型,号称迄今为止能力最强。
轰轰烈烈的技术竞赛背后,厂商争夺的焦点已经指向了底层——数据。
当前,业内公认的高效解法是采集真实的人类操作数据(Human Data),用海量现实交互喂出通用机器人。
主意不错,等真上手会发现,哪有那么容易!
视频拍下了操作过程,手指一被遮挡,细微动作就可能看不清;即使动作拍全了,什么时候发生接触、用了多大力,光靠画面还是难判断。
给人手装上传感器吧,设备又可能影响自然操作,材料形变、信号干扰还会让触觉数据跑偏。

更别说,一项任务从走近目标、调整身体到完成操作,前后还有一整套动作需要记录。
合着Human Data库库一顿猛采,结果决定操作成败的关键信息,却漏掉不少。(cry)
11月9日,在2026 CoRL(机器人学习会议)上,简智机器人发布了DAS 2.0旗下两款新品,打算从底层硬件与系统上找解法。
一款是第一视角头戴式多模态数据采集设备DAS Ego 2.0,另一款是灵巧手数据采集手套DAS Dex 2.0。

再加上目前不少前沿AI实验室都关注的Ego+Wrist Camera(腕部相机)双视角采集方案,补上第一视角容易遗漏的手部细节。
这下,人类那些容易被忽略的「小动作」,也有机会被机器人逐帧研究了。
Human Data,也该进化了
说起来,Human Data还真不是架个摄像头,把人类干活的过程录下来就完事了。
同样是一段人类操作,记录了哪些信息,机器人最后能学到的本事,可能差得很远。
而且,不同任务需要的数据,还真不一样。
有的需要看清完整的操作过程,有的得盯着手指那点细微动作,还有的,光看视频根本不够,得把真实接触也测出来。
但总不能为了把数据采全,恨不得给每个采集员都穿上一身装备吧?

简智的办法,是让不同的采集设备各有所长,还能配合着干。
有的负责看全局,有的专门盯手部细节,有的测量真实接触。需要联合采集时,这些训练信号还能在时间和空间上对齐。
目前,其Gen DAS数据采集体系主要提供三种配置。
Ego负责第一视角,记录人类操作时的环境、动作和任务过程,包括不同场景、操作习惯,甚至操作失败后的调整。
如果嫌头上的摄像头离手太远,还可以在Ego基础上增加一个Wrist Camera,相当于给手部操作开了个「专属机位」。
头戴相机看得见人伸手去拿零件,手掌一挡,却未必能看清零件怎么对准、手指又做了哪些细微调整。
腕部相机离操作区域更近,能持续记录手与物体之间的相对运动、接近方向,以及画面中可见的局部形变。
配合相机标定和轨迹重建,还能把不同视角记录的动作对应起来。
再往下,碰上需要精确测量手指动作和真实接触的任务,就得请出Dex数据手套了。
Ego+Dex的组合,能直接记录关节运动和触觉信息,给视觉难以判断的物理接触补上实测依据。
三种配置,分别覆盖任务背景、局部动作和原生物理测量。需要什么信息,就搭配相应的设备。
而在这套体系中,简智首先升级的是机器人的「眼睛」。
DAS Ego 2.0这次最直观的变化,就是摄像头更能打了。
整机搭载6颗全局快门摄像头,支持30fps同步成像,水平视野扩大到了340°。
340°什么概念?
水平方向接近环绕一整圈。除了身后很小一部分区域,周围大多数方向都能被镜头覆盖。

人类干活时,注意力可能集中在眼前的零件上,周围环境却也在影响下一步动作。
从货架上取下物品,转身放到另一张工作台,途中怎么移动、周围有没有障碍、目标在什么位置,都可能影响任务能否顺利完成。
视野更广,设备就有机会在同一时刻保留更多环境信息和动作线索。
机器人以后学习的,也不必只有手上那几秒钟。
除了视野,另一个大升级是摄像头像素提升。
在6颗摄像头中,2颗主相机升级至500万像素,另外4颗为200万像素,指尖追踪标称精度可达4mm。
在相同视场和拍摄距离下,从200万到500万像素,图像宽、高方向的采样密度各增加约58%。
手指、物体边缘这些细小结构,有机会获得更丰富的图像信息。
不过,模型训练又不是拍高清纪录片。新增的细节,如果没用进模型训练,也是白忙活。
怎么让这500万像素发挥作用?这里还真有两条不同的路。
第一条,改善监督标签。
画面更清晰了,算法就能更准确地定位手部关键点、重建运动轨迹,减少动作标注时的偏差。
即使模型训练时使用的是低分辨率画面,也可以受益于更可靠的动作标签。
第二条,是让模型实实在在看到更多细节。
不然,前面辛辛苦苦拍了高清视频,训练时全给压缩成小图,手指和物体之间那些关键变化,又没了。
在模型训练阶段,可以通过局部裁剪、多尺度输入等方式,尽量保留手部操作区域的关键视觉信息,让新增的像素发挥作用。
不过,训练时想用上这些细节,采集现场还得先把画面完整地留下来。
录到一半设备没电了,或者头发挡住了镜头,画质再高也白搭。
Ego 2.0支持磁吸电池包不停机更换,单包续航约2.5至3小时。

配套App能检查头部姿态、识别头发遮挡,还有一键录制、标准MCAP格式和批量后处理等功能。
单看每一项,好像都不是什么特别炫酷的技术。
可真到了几十个人、几百个人同时采数据的时候,少一次中断、少一段无效视频,采集流程就能更统一,数据质量也更有保障。
这些细微的改进,积累起来,就是实打实的效率和质量差距。
目前,Ego 2.0单季度「有效数据」交付量,已经从十万小时级提升到了百万小时级。
手指上的真实接触,怎么才能采得准?
当然,头戴设备再能打,也有自己搞不定的事。
尤其是手指碰到物体的那一刻。
拧瓶盖时有没有打滑?拿起杯子时握得够不够紧?这些藏在接触面上的变化,摄像头可未必看得见。
可具身智能圈早就发现,想把人类的真实「手感」采回来,麻烦还真不少。

首先,设备自己可别添乱。
传统外骨骼如果太厚,容易占用手指和掌面的操作空间。原本轻轻松松就能完成的捏取、抓握,戴上设备反倒变得别扭。
人手都没法自然操作,机器人学到的动作,岂不是从源头就变了味?
Dex 2.0干脆把主要外骨骼结构挪到手指侧面,让机械关节贴近人手运动轴,给指背、指腹和掌面腾出空间,减少对自然操作的干扰。

手指活动自如了,传感器还可能「乱报信号」。
手指一弯、材料一拉伸,传感器就可能产生响应。有时明明只碰了一个位置,相邻触点也跟着有反应。
好家伙,手还没碰上,传感器先激动了。这不就给模型制造了「触觉幻觉」嘛!
Dex 2.0这次换上了自研的半柔性压阻式电子皮肤,重点解决传感器容易误报的问题,尽量把材料形变、通道串扰产生的信号,和物理接触区分开。
具体到硬件上,单手配备16块触觉传感器,共980个触觉感知单元。
触觉空间分辨率达到1mm,最小检测力为0.1N,采样频率100Hz。
另外,Dex 2.0还搭载自研的「微型磁编码器」,由单手21个独立关节编码器负责记录,支持21DoF运动捕捉,指尖位置精度标称小于1mm。
手指哪里碰到了物体、接触强弱怎么变化,都有了更细的测量依据。
两个大麻烦解决了,还有一关,也挺考验设备。
做数采的朋友都知道,采几段Demo容易,连续采一个月可就不一样了。
今天测得好好的,明天同样的动作,触觉信号可能就会变样。
想让触觉真的成为机器人的学习资料,除了单次精度,还得把长期稳定性考虑进去。
Dex 2.0在已完成的一个月持续采集中,相同条件下重复动作的触觉响应保持一致。
触觉采得准、测得稳,接下来还得考虑,这些数据怎么用到机器人身上。
Dex 2.0支持无本体、遥操两种采集模式。
而这些真实触觉数据,简智还想让它们干一件更有意思的事:给视觉模型当老师。
还记得前面提到的Ego+Wrist Camera吗?
头戴相机记录整个任务,腕部相机则跟着手一起移动,盯着人手与物体之间的细微变化。
比如把零件推入卡槽。
腕部镜头能看到零件如何接近卡槽、边缘有没有发生相对位移,甚至某些可见的局部形变。
可画面里的这些变化,究竟对应着怎样的接触状态?
光靠摄像头,还真不好下判断。
简智目前正在探索Ego+Wrist Camera+Dex同步配对采集,把第一视角、腕部近景与Dex实测的关节、触觉数据对应起来。
这相当于给视觉模型准备了一份带答案的练习题。
通过相机标定、轨迹重建和多视角对齐,模型有机会学到:画面中出现哪些变化时,手指实际发生了怎样的接触。
再通过配对监督、知识蒸馏等方式,把真实触觉中学到的信息迁移到更轻量的视觉方案。
这条路线如果跑通,未来即使不佩戴Dex手套,仅凭Ego+Wrist Camera,也有机会估计是否发生接触、接触区域,以及获得像素级精度的手部追踪。
甚至还能往前探索一步:从判断「现在碰没碰到」,走向预测「接下来会发生什么」。
这有点意思哈,高精度触觉数据有机会带着低成本视觉数据一起「升级」了!
但目前,这仍是一条探索中的技术路线。
物体重量、隐藏接触等信息,未必能从画面中判断出来。模型预测的接触状态,也不能直接代替真实测量。
真实触觉能教会视觉多少「手感」,最终还得看模型训练和实际任务的表现。
从一双手,到一整套动作
手指上的功课补齐了,机器人就能学会人类干活了吗?
还差得远呢。
拿搬箱子来说,人类先走过去,找好站位,再弯腰、伸手、抓住箱子,最后起身搬走。
只记录手部操作那几秒钟,机器人可能学会了怎么抓,至于怎么靠近、后面怎么接着干,还是一头雾水。

简智这次把Wholebody(全身动作)纳入DAS数据体系,试图把这些容易遗漏的过程补回来。
具体分成三个层面:
- 策略层:记录人怎么接近目标、选择站位,以及什么时候调整观察位置。
- 协调层:记录躯干、肩臂和手部怎么配合,完成一次操作。
- 执行层:记录拿起物体之后,如何起身、转向、搬运,把前后动作连起来。
这样一来,机器人要学的,就不只有手上那几个动作了。
可人类的动作再完整,机器人也没法直接照着抄。
人形机器人、移动机械臂、固定工位上的夹爪,身体结构和运动能力差别不小。
人类能够轻松完成的动作,换到不同机器人身上,还得根据各自的运动约束重新适配。

想抄人类的作业,也得看看自己的「身板」允不允许。
这也意味着,原始数据得尽可能完整、准确。
尤其是来自不同设备的画面、关节动作和触觉信号,时间可不能对不上。
想象一下,视频里手指刚碰到物体,触觉信号却晚了一拍。
相当于模型明明拿到了「标准答案」,结果答案还对错了题。
DAS Ego 2.0和Dex 2.0虽然是两款独立设备,却能通过统一时钟、硬件触发和相机曝光控制,实现约1ms级的头手时间对齐。
1ms有多重要?
按照手部运动速度0.5m/s计算,1ms的时间错位,就对应约0.5mm的运动距离;错开10ms,则对应约5mm。
这只是时间错位带来的几何偏差,并非设备的整体定位误差。
可对于接触、旋转、松手这些快速动作来说,几毫秒的差异,就可能让画面里的动作和传感器测到的接触状态对不上。
采得再精细,时间对不齐,模型照样可能学跑偏。
目前,简智的数据产品已在Simate、自然意志、Dreamlabs、生数Vidu AI等团队的模型中得到验证。

好吧,连AI模型研发团队都下场卷数据了,具身圈的压力,只怕会越来越大。
但也别急着给谁判输赢。
从视觉、动作到真实触觉,Human Data已经越采越细。
接下来,就看谁能把这些数据真正用好,把人类的本事学到手。
通用大模型已经把题目出到这儿了,机器人们,该交卷了。
来源:量子位