Contactile 提供配备触觉传感器的机器人手和夹具。 | 来源：Contactile
世界模型是机器人学习的下一个前沿领域。但是，由于触觉调节从根本上来说仍然不完整，因此它们无法可靠地概括新的表面和物体。一个新的模型类， VμA，建议通过将摩擦力作为第一级输入来解决这个问题。
世界模型是下一个前沿当今机器人学习中最雄心勃勃的方向是世界模型：物理现实的通用模型，机器人可以用它来预测其行为的后果，进行长期规划，并推广到它在训练中从未遇到过的情况。
如果机器人的内部世界模型足够准确，它就不需要记住每项任务。相反，它可以通过新颖的推理来推理。
这是一个引人注目的愿景，并且该领域正在快速发展。但在真实的机器人系统中部署世界模型需要一个比模型本身更受关注的步骤：调节。世界模型必须以机器人当前的物理状态为条件，然后才能做出有用的预测。
这种调节的质量决定了模型的预测是否反映了现实，或者仅仅是现实的近似。
调节问题：触摸缺失
当前机器人技术的世界模型调节主要依赖于两个输入。这些是摄像机的视觉观察，并且 末端执行器 来自关节编码器的位置。一些该领域最强大的系统仅依赖于此。对于自由空间 运动 任务，通常就足够了。
对于接触丰富的操纵来说，这是不够的。当机器人触摸物体的那一刻，最重要的信息——指尖和表面之间的界面上发生的事情——对相机来说是不可见的，并且无法仅从关节位置来解析。
在许多世界模型实现中，接触甚至没有由专用的编码 传感。相反，它是根据机器人关节中的电机电流推断出来的。从实际接触事件中移除几个步骤的代理信号反映了传动系统上的总机械负载，而不是指尖处的分布式物理负载。
有些人对此进行了增强 触 传感器，结果显示出有意义的改进。目前实施的触觉调节仍然不完整。大多数触觉传感器将接触编码为变形图像、压力图或最多为三轴力分布。这些表示告诉您接触正在发生以及有多难。他们不会告诉您决定联系成功还是失败的数量。
在许多世界模型实现中，接触是由电机电流编码的，这是一个与指尖的实际物理过程相距几个步骤的代理。
Contactile 表示，其触觉传感器可实现实时自适应握持、滑动校正和任务执行，无需定制。 | 来源：Contactile
世界模型缺少什么：μ
缺少的量是μ，即静摩擦系数。它是决定所抓取的物体是否保持抓取状态以及在给定表面特性、负载和接触几何形状的情况下抓握力是否足够的物理参数。它因材料配对、表面状况、温度和污染而异。它无法通过相机看到、从关节电流推断或从压力图重建。
如果条件信号中没有 μ，世界模型仍然是根据对物理现实的不完整描述来工作的。它可以在训练中学习接触模式和结果之间的统计关联，但它不能可靠地推广到新的表面、不熟悉的物体或变化的条件，因为控制这些结果的因果变量在其输入空间中不存在。
以 μ 为条件的模型处于质的不同位置。摩擦力不是一种习得的代理或推断的信号——它是滑动的物理原因，是所需握力的直接决定因素，以及当表面潮湿、磨损、有涂层或污染时变化的量。 μ 的调节将世界模型从统计模式匹配转向更接近因果物理理解的模型。
μ 的调节将世界模型从统计模式匹配转向因果物理理解——这改变了模型可以推广的内容。
这就是接触式的用武之地
Contactile 的 PapilArray 触觉计算模块填补了这一空白。与输出变形图像或压力图的传统触觉传感器不同，它在传感器边缘实时计算完整的接触调节所需的全套物理量，没有上游处理延迟：
- 接触阵列上每个紫杉醇的 3D 力矢量
- 全接触面的全局 3D 力和全局 3D 扭矩
- 静摩擦系数 μ，源自活力分布
- 每个紫杉醇的接触状态：非接触、静态接触或动态接触（滑动）
- 物理推导的目标握力 — 给定电流 μ 时防止打滑所需的最小力
这些输出基于接触力学，而不是习得的推理。它们可以在物体、表面和条件下重现。至关重要的是，它们在模型生命周期的两个阶段为调节堆栈提供服务：利用因果物理信号丰富训练数据，并在部署过程中提供实时反馈。
VμA 简介：愿景-μ-行动
机器人学习具有在新的输入模式变得足够重要以保证其自己的指定时命名模型类的富有成效的传统。视觉-语言-动作（VLA）模型具体化了围绕自然语言作为条件信号的研究方向。视觉-力-行动（VFA）模型对力也做了同样的事情。
我们建议使用 VμA（视觉-μ-动作）作为世界模型的名称，其中包含完整的接触物理堆栈以及视觉和运动动作。 μ 符号不是“触觉”或“力”的简写。这是之前的所有模型类中都没有的特定物理量，并且它的包含首次使得跨接触丰富的任务的可靠泛化成为可能。
VμA 模型吸收每个触觉单元 3D 力、全局 3D 扭矩、实时 μ 和每个触觉单元滑动状态以及视觉观察，并输出根据每个接触的完整物理状态调节的电机动作。该术语原则上与硬件无关，但实际上，Contactile PapillArray触觉阵列是目前唯一能够在边缘计算所有这些量的传感器。
VLA 赋予机器人语言。 VFA赋予机器人力量。 VμA 为机器人提供了接触物理原理，并通过它提供了世界模型，这些模型不仅可以看到物理世界，而且还可以真正理解与其交互的感觉。
VLA 和 VFA 定义了机器人学习的内容。世界模型调节定义了他们的推理内容。 VμA 对两者都很重要，而 μ 两者都缺失。
闭环：训练之外的执行
训练数据质量是 VμA 价值主张的一半。另一个是实时执行。
之间的差距 模拟 而现实中，模拟到真实的问题对于接触丰富的任务来说尤其严重，其原因恰恰是模拟中缺乏摩擦物理学。经过模拟训练的机器人会遇到μ值不可预测的真实表面，并以他们的训练从未准备好的方式失败。
标准的缓解措施是域随机化：在训练期间广泛改变模拟摩擦参数，并希望现实世界落在分布中的某个位置。
VμA 执行消除了这种近似的需要。由于 PapilArray 在执行过程中实时测量 μ，因此支持 VμA 的机器人无需猜测其所持物体的摩擦特性。它知道。该策略可以将当前 μ 作为实时输入，根据实际表面（而不是表面的模拟分布）调整握力和操纵策略。
实际后果是重大的。 VμA 机器人在早上处理干燥部件，并在清洁周期后处理湿部件，无需重新训练或重新校准。它测量变化的 μ 并进行调整。
一个机器人 组装 整个生产批次中具有不同表面光洁度的零件不会因 μ 漂移而累积故障。它跟踪漂移并进行补偿。使用真实物理原理，反馈回路在接触界面处以接触速度闭合。
VμA 机器人不需要猜测其所持物体的摩擦特性。它实时测量 μ 并适应实际表面，而不是模拟分布。
对该领域的影响
该领域所达到的操纵上限并不是模型大小的问题。这是一个条件问题，具体来说，是堆栈中正确位置缺少正确的物理数据。 VμA 是解决该问题的框架。
对于研究界来说，VμA 建立了一个明确的基准阈值：不以实时 μ 为条件的模型不是完整的接触模型，无论其架构或规模如何。对于工业来说，它定义了 传感器 缩小操作可靠性差距所需的规范，该差距使机器人无法进入最苛刻的接触丰富的应用程序。
我们邀请机器人和机器学习社区采用 VμA 作为此类模型的标准名称，并认识到操纵的下一步不是一个更大的模型，而是一个更完整的模型。
关于作者
赫巴·卡米斯 是联合创始人兼首席执行官 接触式是一家总部位于悉尼的科技公司，专注于赋予机器人触觉智能。她拥有博士学位。悉尼大学工程学博士。