资讯详情

行业资讯
全球首个触觉锚定世界模型+最大规模触觉数据集,戴盟机器人走到哪了? 资讯 author

全球首个触觉锚定世界模型+最大规模触觉数据集,戴盟机器人走到哪了?

7
深蓝具身智能
深蓝学院-具身君
2026-11-05
触觉数据不是采了就有效:戴盟从采集工具开始改“模型能学到什么”——触觉是如何变成机器人能力的2026年,触觉成为具身行业的焦点之一。含触觉的数据集和模型接连出现,给机器人装上传感器、接入触觉信息,正成为越来越多团队的选择。但比“有没有触觉”更难的问题是:模型会不会用,又能不能用好?比如一个正在把插头插进插孔的夹爪,画面看起来已经对齐,插头却卡在边缘。此时,再识别一次物体未必有用,机器人需要知道的是:哪里受阻,应该往哪个方向调整。触觉能够提供这些线索,因此触觉正从高端选配成为具身标配——然而,模型却未必知道
图片

触觉数据不是采了就有效:戴盟从采集工具开始改“模型能学到什么”

——触觉是如何变成机器人能力的

2026年,触觉成为具身行业的焦点之一。含触觉的数据集和模型接连出现,给机器人装上传感器、接入触觉信息,正成为越来越多团队的选择。但比“有没有触觉”更难的问题是:
模型会不会用,又能不能用好?

比如一个正在把插头插进插孔的夹爪,画面看起来已经对齐,插头却卡在边缘。此时,再识别一次物体未必有用,机器人需要知道的是:哪里受阻,应该往哪个方向调整。

图片

触觉能够提供这些线索,因此触觉正从高端选配成为具身标配——然而,模型却未必知道如何利用触觉。

在T-Rex等实验中,直接加入触觉反而降低了成功率,改变接入方式后才能改善结果。这不能证明触觉无用,却说明“多一种输入”不会自动带来“多一种能力”。

触觉热潮因此需要一个更具体的检验:机器人是否因为这些接触经验,做成了过去做不好的事?

戴盟近期发布的TacClaw-Infinity,为这一问题提供了直接证据:触觉数据能够提升机器人的操作能力,提升幅度最高可达44.7%。

更值得关注的是,这项工作呈现了对“如何用好触觉”的系统思考:从采集有价值的接触信息,到将其组织为可学习的经验,再让模型如何学会利用触觉进行推理、决策和行动,戴盟以一套贯通“感知-数据-模型”的完整解决方案,正在成为行业中最懂触觉的团队之一。

图片图片

触觉的价值,要看机器人做对了什么

今年4月,戴盟发布全球最大规模含触觉全模态物理世界具身数据集Daimon-Infinity。该数据集由戴盟联合Google DeepMind、新加坡国立大学、清华大学等海内外数十多家研究机构共同采集(其中一万小时数据面向行业开放,已在Hugging Face和魔搭社区获得超过千万次下载)。

而TacClaw-Infinity则聚焦Daimon-Infinity体系中的采用视触觉UMI手持夹爪TacClaw采集的部分——

这是一个大规模、高多样性、多模态物理接触数据集,包含超过10,000小时、100万条操作轨迹、10亿帧数据,覆盖1,000多类任务。

图片

比规模更值得关注的是机器人能力提升的结果验证。

研究在Tianji、RealMan和DM-Sparky三种机器人平台上,测试π₀.₅和StarVLA两类模型,任务包括三项:杯子堆叠考察pick and place,瓶子分类考察通过接触信息判断物体状态,花瓶擦拭则要求机器人随瓶身曲线动态调整动作,从而始终保持恰当力度的接触,在擦得干净的同时也保证不把花瓶推开。

图片

通过触觉数据训练后,模型的操作成功率有了明显提升:π₀.₅的平均成功率从50.0%提高至74.0%,StarVLA从46.0%提高至72.7%。在更依赖接触的任务中,收益尤为突出:瓶子分类中,两类模型的成功率分别提高44.7%和43.3%;花瓶擦拭中,分别提高22.0%和38.7%。

图片

而且,实验没有引入专门的触觉架构或控制器,只是将触觉观测以图像形式输入现有模型,就足以让模型的操作能力有明显提升。

这说明,数据中包含了充分有效的接触信息,能够被现有策略利用,转化为实际操作收益,而不仅仅只是为模型增加一个输入模态。

此外,TacClaw-Infinity可实现零本体迁移。通常模型使用无本体数据训练后,还需使用目标机器人的真机数据,完成进一步微调适配;但TacClaw-Infinity无需额外采集真机数据,直接用于模型训练就能达到能力的显著提升,这将为具身数据提供了一种大幅降低成本的使用方式。

实验所使用的三种机器人,在机械结构、运动范围和硬件配置上存在明显差异,π₀.₅和StarVLA的模型架构也不相同,表明TacClaw数据还具有跨本体迁移与跨模型泛化能力。

换句话说,TacClaw-Infinity证明物理交互经验可以与机器人本体解绑,成为可共享、可复用的经验资产,数据的价值由此从“记录了多少”,落到了“能帮助谁学会什么”。

图片图片

高质量数据,从理解每一次接触开始

操作成功率的提升是接触数据价值的直接体现,而更有行业意义的是如何持续生产出这样的数据。TacClaw-Infinity公开了从采集工具、采集模式到数据处理的完整数据体系,其设计始终围绕一个问题:
怎样记录和组织接触经验,才能让模型真正用好触觉?
  • 用好触觉的第一步,发生在训练之前:记录真实接触,让模型有可靠的依据可学。

人拿起纸杯时,会在刚碰到杯壁后调整力度。这些轻微变化看似不起眼,却可能决定杯子是被稳稳拿起,还是被捏瘪。如果采集工具无法准确传递这些接触感知,模型可能学到的就不是足够精准的操作经验。

TacClaw搭载戴盟自研的视触觉传感器,将接触产生的多种维度信息记录为高分辨率图像,并同步采集视觉、夹爪运动和开合状态。这样,模型能够把动作与反馈对应起来,学习“做了什么”以及“接触随之发生了什么变化”。

团队还优化了机械传动,让接触反馈更直接地传到操作者手部。对照测试显示,操作者使用TacClaw能够察觉更轻微的接触,为自然、细致的操作示范提供基础。

图片
  • 其次,让接触经验足够丰富,模型才有机会学会应对变化。

同一个杯子,抓杯口、握杯身,或者从不同方向拿起,都会产生不同的触觉反馈。只反复记录一种拿法,即使积累很多数据,也难以教会机器人应对其他情况。

这意味着,规模化采集需要同时回答两个问题:如何获得更多示范,如何让新增示范带来不同的经验。

TacClaw的便携性与无需目标机器人参与的采集方式,让数据生产能够走出固定场地。

戴盟开创了外发式数据采集模式,与海内外20多家机构合作,将200台设备部署到全球50多个地点,覆盖家庭、实验室、工业场所、商店和户外。

在同等300小时预算下,这种多地点采集比单地点采集平均多覆盖约201个“动作-物体”组合。

图片由此增加的不只是数据量,还有场景与操作者、任务与动作、物体,以及触觉交互状态等方面的多样性。对模型而言,这些变化提供了更广泛的学习材料,帮助它学习不同条件下如何接触、判断和调整,而不是只重复固定场景中的动作。图片
  • 最后,以接触为锚点解构操作轨迹,让人类经验成为模型容易学习的资料。

记录下来的操作,并不会自动变成高质量训练材料。

常见的数据标记会将“拿起杯子”这一操作轨迹视为一个整体;但从机器人学习的角度,这包含了几个完全不同的阶段:伸手接近杯子、手指与杯子接触、夹紧并移动杯子、松开杯子。

每个阶段,模型主要依赖的模态也各不相同:

接触发生前,机器人主要靠视觉判断位置;

接触发生后,触觉则成为判断是否抓稳、是否滑动以及是否需要调整动作的重要依据。

因此,TacClaw-Infinity以接触事件为共同依据,对轨迹的时间、语言、空间进行划分。

这样,连续记录就有了更清楚的结构:什么时候碰到物体,这一段正在做什么,动作围绕哪个对象展开。触觉不再只是外部输入的信息,而是模型用于理解数据的依据——模型学到的不只是“最后完成了任务”,还包括任务是怎样一步步完成的,这些信息是如何被组织起来的。

图片

这套数据体系体现了戴盟对“用好触觉”的理解:从一开始就围绕模型需要什么来设计数据,让关键接触被记录,让不同交互被覆盖,再让经验以清楚、可靠的形式进入学习过程。

图片

有了触觉之后,模型如何把它用得更好?

高质量的接触数据为模型能力提供增益,而反过来,模型架构如何设计,则决定了这些接触信息的价值能否得到最大化的利用。

触觉包含有用的信息,不代表模型自然知道这些信息该在什么时候、以什么方式发挥作用。

视觉与触觉提供的线索并不相同:机器人伸手拿杯子之前,需要先看清位置;握住之后,则需要判断是否抓稳、有没有滑动;接触中的细小变化,有时还要求机器人迅速调整,不能等待一次完整的任务重新规划。

因此,用好触觉,需要把问题问得更具体:

哪些时刻需要接触反馈?哪些判断不能只凭外观推理?接触反馈出现后,应该改变整体计划,还是只微调眼前的动作?

这些问题没有适用于所有任务的统一答案,也不能靠增加输入量解决。

戴盟今年发布的全球首个触觉锚定世界模型Daimon-TWM(Tactile-grounded World Model),正是在探索“模型如何用好接触信息”。

该模型将物理认知、推演决策和瞬时操控纳入同一模型框架,每一部分都以触觉为基座,赋予模型物理交互能力,从而让触觉的价值落到模型的具体决策中。

  • 在物理认知板块

Daimon-TWM让触觉成为模型认识物体、判断状态的依据。

例如,一个物体看起来坚硬,摸起来却柔软,模型就需要依据真实接触修正外观带来的判断。通过触觉推理,模型从受力、形变等反馈中识别硬度、粗糙度等物理属性,并为后续操作提供依据。

触觉的价值由此从“感受到变化”,推进到“理解变化意味着什么”。

  • 在推演决策板块

Daimon-TWM进一步利用触觉,预判动作可能带来的物理后果。例如,插头遇阻后,继续推进可能加剧卡阻,调整方向则可能改善接触。模型将当前接触状态与后续动作联系起来,预测接触如何变化,为行动选择提供依据。

触觉因此不仅用于确认已经发生的事,也参与判断接下来应该怎样做。

  • 在瞬时操控板块

Daimon-TWM利用高频触觉反馈,在执行中及时修正偏差。触觉是一种高频率模态,往往视觉尚未观测到,触觉已经感知到了;这些视觉难易察觉的细微受力变化、局部滑动或接触失稳,往往会直接影响操作成败。模型通过触觉实时反馈,迅速识别动作偏差,提供及时的小幅动作修正。

触觉由此转化为持续纠偏的能力,帮助机器人在接触变化和外部扰动中维持稳定操作。

这让戴盟的数据与模型研究形成呼应:数据体系研究哪些接触经验值得保留,模型研究则检验这些经验如何发挥作用;模型暴露的不足,又可以为下一轮采集和标注指明方向。

数据与模型因此可以相互反馈,逐步回答“下一轮该采什么、该怎样训练”,从而实现数据与模型的双向同步迭代。

真正懂触觉,是能把接触变成能力

把这些工作放在一起,戴盟的特点就更清晰了。它既研究传感器能看见什么,也研究数据应当留下什么,以及模型如何据此判断和行动。

这也是戴盟将触觉硬件、数据与模型连接起来的意义:

理解接触的物理意义,知道哪些经验值得保留,也能用真机操作证明模型从中受益,最终让真实世界中的交互经验逐步转化为机器人可学习、可理解、可使用的操作能力。

当这种全链路能力被打通,才能成为真正会用触觉、知道怎么用触觉、用好触觉的企业——从这个角度来说,戴盟可以说是具身行业中最懂触觉的团队之一。

Ref

TacClaw-Infinity


来源:深蓝具身智能

分享1
Shopping Cart
0 new
购物车

当前购物车数量由 Destoon 实时读取

Cart Items
0
打开购物车时加载商品清单
Go to shopping cart 我的订单