分享好友 行业资讯首页 行业资讯分类 切换频道

大模型都能控机器人,Human Data还得怎么卷?

2026-11-12 18:0040关注前沿科技量子位
田晏林 发自 凹非寺
量子位 | 公众号 QbitAI

连AI都开始琢磨怎么自己教自己了,机器人却还在为学习人类动作狂补课?!

现在AI圈里,Agent、Coding Agent、RSI(递归自我改进)这些概念,一个比一个热闹。

具身智能的朋友却倍感压力,甚至隐隐有了种「快被通用大模型打趴下」的焦虑。

图片

前几天,Claude还发文说,Fable 5.2在未针对特定任务进行专门训练的情况下,展现出了控制物理机器人的能力。

紧接着,Google DeepMind又拿出新一代VLA模型,号称迄今为止能力最强。

轰轰烈烈的技术竞赛背后,厂商争夺的焦点已经指向了底层——数据。

当前,业内公认的高效解法是采集真实的人类操作数据(Human Data),用海量现实交互喂出通用机器人。

主意不错,等真上手会发现,哪有那么容易!

视频拍下了操作过程,手指一被遮挡,细微动作就可能看不清;即使动作拍全了,什么时候发生接触、用了多大力,光靠画面还是难判断。

给人手装上传感器吧,设备又可能影响自然操作,材料形变、信号干扰还会让触觉数据跑偏。

图片

更别说,一项任务从走近目标、调整身体到完成操作,前后还有一整套动作需要记录。

合着Human Data库库一顿猛采,结果决定操作成败的关键信息,却漏掉不少。(cry)

11月9日,在2026 CoRL(机器人学习会议)上,简智机器人发布了DAS 2.0旗下两款新品,打算从底层硬件与系统上找解法。

一款是第一视角头戴式多模态数据采集设备DAS Ego 2.0,另一款是灵巧手数据采集手套DAS Dex 2.0。

图片

再加上目前不少前沿AI实验室都关注的Ego+Wrist Camera(腕部相机)双视角采集方案,补上第一视角容易遗漏的手部细节。

这下,人类那些容易被忽略的「小动作」,也有机会被机器人逐帧研究了。

Human Data,也该进化了

说起来,Human Data还真不是架个摄像头,把人类干活的过程录下来就完事了。

同样是一段人类操作,记录了哪些信息,机器人最后能学到的本事,可能差得很远。

而且,不同任务需要的数据,还真不一样。

有的需要看清完整的操作过程,有的得盯着手指那点细微动作,还有的,光看视频根本不够,得把真实接触也测出来。

但总不能为了把数据采全,恨不得给每个采集员都穿上一身装备吧?

图片

简智的办法,是让不同的采集设备各有所长,还能配合着干。

有的负责看全局,有的专门盯手部细节,有的测量真实接触。需要联合采集时,这些训练信号还能在时间和空间上对齐。

目前,其Gen DAS数据采集体系主要提供三种配置。

Ego负责第一视角,记录人类操作时的环境、动作和任务过程,包括不同场景、操作习惯,甚至操作失败后的调整。

如果嫌头上的摄像头离手太远,还可以在Ego基础上增加一个Wrist Camera,相当于给手部操作开了个「专属机位」。

头戴相机看得见人伸手去拿零件,手掌一挡,却未必能看清零件怎么对准、手指又做了哪些细微调整。

腕部相机离操作区域更近,能持续记录手与物体之间的相对运动、接近方向,以及画面中可见的局部形变。

配合相机标定和轨迹重建,还能把不同视角记录的动作对应起来。
图片

再往下,碰上需要精确测量手指动作和真实接触的任务,就得请出Dex数据手套了。

Ego+Dex的组合,能直接记录关节运动和触觉信息,给视觉难以判断的物理接触补上实测依据。

三种配置,分别覆盖任务背景、局部动作和原生物理测量。需要什么信息,就搭配相应的设备。

而在这套体系中,简智首先升级的是机器人的「眼睛」。

DAS Ego 2.0这次最直观的变化,就是摄像头更能打了。

整机搭载6颗全局快门摄像头,支持30fps同步成像,水平视野扩大到了340°。

340°什么概念?

水平方向接近环绕一整圈。除了身后很小一部分区域,周围大多数方向都能被镜头覆盖。

图片

人类干活时,注意力可能集中在眼前的零件上,周围环境却也在影响下一步动作。

从货架上取下物品,转身放到另一张工作台,途中怎么移动、周围有没有障碍、目标在什么位置,都可能影响任务能否顺利完成。

视野更广,设备就有机会在同一时刻保留更多环境信息和动作线索。

机器人以后学习的,也不必只有手上那几秒钟。

除了视野,另一个大升级是摄像头像素提升。

在6颗摄像头中,2颗主相机升级至500万像素,另外4颗为200万像素,指尖追踪标称精度可达4mm。

在相同视场和拍摄距离下,从200万到500万像素,图像宽、高方向的采样密度各增加约58%。

手指、物体边缘这些细小结构,有机会获得更丰富的图像信息。
图片

不过,模型训练又不是拍高清纪录片。新增的细节,如果没用进模型训练,也是白忙活。

怎么让这500万像素发挥作用?这里还真有两条不同的路。

第一条,改善监督标签。

画面更清晰了,算法就能更准确地定位手部关键点、重建运动轨迹,减少动作标注时的偏差。

即使模型训练时使用的是低分辨率画面,也可以受益于更可靠的动作标签。

第二条,是让模型实实在在看到更多细节。

不然,前面辛辛苦苦拍了高清视频,训练时全给压缩成小图,手指和物体之间那些关键变化,又没了。

在模型训练阶段,可以通过局部裁剪、多尺度输入等方式,尽量保留手部操作区域的关键视觉信息,让新增的像素发挥作用。

不过,训练时想用上这些细节,采集现场还得先把画面完整地留下来。

录到一半设备没电了,或者头发挡住了镜头,画质再高也白搭。

Ego 2.0支持磁吸电池包不停机更换,单包续航约2.5至3小时。

图片

配套App能检查头部姿态、识别头发遮挡,还有一键录制、标准MCAP格式和批量后处理等功能。

单看每一项,好像都不是什么特别炫酷的技术。

可真到了几十个人、几百个人同时采数据的时候,少一次中断、少一段无效视频,采集流程就能更统一,数据质量也更有保障。

这些细微的改进,积累起来,就是实打实的效率和质量差距。

目前,Ego 2.0单季度「有效数据」交付量,已经从十万小时级提升到了百万小时级。

手指上的真实接触,怎么才能采得准?

当然,头戴设备再能打,也有自己搞不定的事。

尤其是手指碰到物体的那一刻。

拧瓶盖时有没有打滑?拿起杯子时握得够不够紧?这些藏在接触面上的变化,摄像头可未必看得见。

可具身智能圈早就发现,想把人类的真实「手感」采回来,麻烦还真不少。

图片

首先,设备自己可别添乱。

传统外骨骼如果太厚,容易占用手指和掌面的操作空间。原本轻轻松松就能完成的捏取、抓握,戴上设备反倒变得别扭。

人手都没法自然操作,机器人学到的动作,岂不是从源头就变了味?

Dex 2.0干脆把主要外骨骼结构挪到手指侧面,让机械关节贴近人手运动轴,给指背、指腹和掌面腾出空间,减少对自然操作的干扰。

图片

手指活动自如了,传感器还可能「乱报信号」。

手指一弯、材料一拉伸,传感器就可能产生响应。有时明明只碰了一个位置,相邻触点也跟着有反应。

好家伙,手还没碰上,传感器先激动了。这不就给模型制造了「触觉幻觉」嘛!

Dex 2.0这次换上了自研的半柔性压阻式电子皮肤,重点解决传感器容易误报的问题,尽量把材料形变、通道串扰产生的信号,和物理接触区分开。

具体到硬件上,单手配备16块触觉传感器,共980个触觉感知单元。

触觉空间分辨率达到1mm,最小检测力为0.1N,采样频率100Hz。

另外,Dex 2.0还搭载自研的「微型磁编码器」,由单手21个独立关节编码器负责记录,支持21DoF运动捕捉,指尖位置精度标称小于1mm。

手指哪里碰到了物体、接触强弱怎么变化,都有了更细的测量依据。
图片

两个大麻烦解决了,还有一关,也挺考验设备。

做数采的朋友都知道,采几段Demo容易,连续采一个月可就不一样了。

今天测得好好的,明天同样的动作,触觉信号可能就会变样。

想让触觉真的成为机器人的学习资料,除了单次精度,还得把长期稳定性考虑进去。

Dex 2.0在已完成的一个月持续采集中,相同条件下重复动作的触觉响应保持一致。

触觉采得准、测得稳,接下来还得考虑,这些数据怎么用到机器人身上。

Dex 2.0支持无本体、遥操两种采集模式。

而这些真实触觉数据,简智还想让它们干一件更有意思的事:给视觉模型当老师。

还记得前面提到的Ego+Wrist Camera吗?

头戴相机记录整个任务,腕部相机则跟着手一起移动,盯着人手与物体之间的细微变化。

比如把零件推入卡槽。

腕部镜头能看到零件如何接近卡槽、边缘有没有发生相对位移,甚至某些可见的局部形变。

可画面里的这些变化,究竟对应着怎样的接触状态?

光靠摄像头,还真不好下判断。

简智目前正在探索Ego+Wrist Camera+Dex同步配对采集,把第一视角、腕部近景与Dex实测的关节、触觉数据对应起来。

这相当于给视觉模型准备了一份带答案的练习题。

通过相机标定、轨迹重建和多视角对齐,模型有机会学到:画面中出现哪些变化时,手指实际发生了怎样的接触。

再通过配对监督、知识蒸馏等方式,把真实触觉中学到的信息迁移到更轻量的视觉方案。

这条路线如果跑通,未来即使不佩戴Dex手套,仅凭Ego+Wrist Camera,也有机会估计是否发生接触、接触区域,以及获得像素级精度的手部追踪。

甚至还能往前探索一步:从判断「现在碰没碰到」,走向预测「接下来会发生什么」。

这有点意思哈,高精度触觉数据有机会带着低成本视觉数据一起「升级」了!

但目前,这仍是一条探索中的技术路线。

物体重量、隐藏接触等信息,未必能从画面中判断出来。模型预测的接触状态,也不能直接代替真实测量。

真实触觉能教会视觉多少「手感」,最终还得看模型训练和实际任务的表现。

从一双手,到一整套动作

手指上的功课补齐了,机器人就能学会人类干活了吗?

还差得远呢。

拿搬箱子来说,人类先走过去,找好站位,再弯腰、伸手、抓住箱子,最后起身搬走。

只记录手部操作那几秒钟,机器人可能学会了怎么抓,至于怎么靠近、后面怎么接着干,还是一头雾水。

图片

简智这次把Wholebody(全身动作)纳入DAS数据体系,试图把这些容易遗漏的过程补回来。

具体分成三个层面:

这样一来,机器人要学的,就不只有手上那几个动作了。

可人类的动作再完整,机器人也没法直接照着抄。

人形机器人、移动机械臂、固定工位上的夹爪,身体结构和运动能力差别不小。

人类能够轻松完成的动作,换到不同机器人身上,还得根据各自的运动约束重新适配。

图片

想抄人类的作业,也得看看自己的「身板」允不允许。

这也意味着,原始数据得尽可能完整、准确。

尤其是来自不同设备的画面、关节动作和触觉信号,时间可不能对不上。

想象一下,视频里手指刚碰到物体,触觉信号却晚了一拍。

相当于模型明明拿到了「标准答案」,结果答案还对错了题。

DAS Ego 2.0和Dex 2.0虽然是两款独立设备,却能通过统一时钟、硬件触发和相机曝光控制,实现约1ms级的头手时间对齐。

1ms有多重要?

按照手部运动速度0.5m/s计算,1ms的时间错位,就对应约0.5mm的运动距离;错开10ms,则对应约5mm。

这只是时间错位带来的几何偏差,并非设备的整体定位误差。

可对于接触、旋转、松手这些快速动作来说,几毫秒的差异,就可能让画面里的动作和传感器测到的接触状态对不上。

采得再精细,时间对不齐,模型照样可能学跑偏。

目前,简智的数据产品已在Simate、自然意志、Dreamlabs、生数Vidu AI等团队的模型中得到验证。

图片

好吧,连AI模型研发团队都下场卷数据了,具身圈的压力,只怕会越来越大。

但也别急着给谁判输赢。

从视觉、动作到真实触觉,Human Data已经越采越细。

接下来,就看谁能把这些数据真正用好,把人类的本事学到手。

通用大模型已经把题目出到这儿了,机器人们,该交卷了。

来源:量子位

点赞 0
举报
收藏 0
评论 0
分享 1