松下控股与美国松下研发公司联合加州大学伯克利分校、英伟达、斯坦福大学和罗马第一大学等研究团队，开发机器人操作AI“T-Rex”（Tactile-Reactive Dexterous Manipulation）。
日本帕纳索尼克开发了机器人操作人工智能 (Robot Manipulation AI) ,可以通过双手进行精致的操作,并对手尖的触摸进行实时反应.该技术不仅利用视觉和语言信息,还利用手尖所感知的压力和滑动等触摸信息来熟练处理物体.
帕纳索尼克控股和美国帕纳索尼克研发公司 (PRDCA) 于5日宣布,他们与加利福尼亚大学伯克利,恩维迪亚,斯坦福大学,意大利罗马萨皮耶纳大,意大利AI的研究小组共同开发了机器人操作人工智能"T-雷克斯" (T-Rex;Tactile-Reactive Dexterous Manipulation).
T-Rex可以将手尖的触觉信息结合到VLA (Vision-Language-Action) 模型中,将视觉语言动作集成起来,帮助操作物体.基于摄像头视频和语言命令,它会产生基本的动作,并通过实时检测物体接触过程中产生的力量,滑滑,变形等,来调整动作.
现有的VLA模型主要依赖于摄像头视频,产生了机器人的操作.即使利用触觉信息,也往往以静态输入值处理,所以很难应对物体的接触状态发生急剧变化的情况.需要细节的功率调节的操作,如抓住薄卡或把钥匙放入孔.
T-Rex将基于视觉语言的操作生成和基于触觉的高速操作控制集成到一个模型中.处理视觉和语言的操作生成模块每秒大约5次 (±5Hz) 产生整个操作,处理触觉信息的操作调整模块每秒大约20次 (±20Hz) 检测到接触状态并精密修改操作.因此,机器人可以在工作过程中迅速应对物体滑滑或压力过于强的情况下,不进行一次视频识别过程.
研究团队为T-X的学习组合了200多种普通物体和22种基本操作,收集了7700多种双手机操作数据.整体数据约为100小时的分量.每个工作数据都记录了安装在头和手腕上的摄像头视频,机器人的状态和操作信息,10指尖端安装的触觉传感器测量功率和变化信息,以及自然语言操作指示.
在学习过程中,首先利用2万2889小时的'人时视频'获得了关于视觉和操作的一般知识.随后进一步学习了含有触觉信息的机器人操作数据,最后利用每个工作的约100次示范数据微调性能.
研究团队在现实环境中评估了12项工作的性能,包括超越桌面,移动卵子,编制牙药,用钥匙打开锁器,提取卡片,转插电器等,T-Rex平均取得了65%的成功率.这比现有的比较量模型的最高性能35%高出30%点.特别处理柔软或易破碎的物体,需要精密的力调节的工作中确定的触觉信息效果.
该研究结果将于11月9日至12日在美国奥斯举行的机器人学习领域国际科学大会CoRL (Conference on Robot Learning) 2026发布.
T-Rex把机器人指尖感知到的压力、滑动和物体变形等触觉信息，实时融入视觉—语言—动作（VLA）模型。系统先根据摄像头画面和语言指令生成基本动作，再依据接触状态调整手指力度与运动轨迹。
现有VLA模型主要依赖视觉输入，即使使用触觉数据，也常把它作为静态信息处理，难以及时应对接触状态快速变化。研究团队希望通过实时触觉反馈，提高机器人抓取薄片、插入钥匙等需要精细力控任务的成功率和适应能力。
