分享好友 行业资讯首页 行业资讯分类 切换频道

把 VLA 拆到最后一层:一串数,怎么就变成关节的力矩了?

2026-11-18 17:0710深蓝学院-具身君深蓝具身智能
图片

VLA 的内部链路:从一个 token 到一牛顿米

——本文出自《具身智能基础》专栏-第17篇

把 VLA 拆到最后一层,它的输出没有任何物理单位:不是电压,不是力矩,甚至连毫米都不是。

可它要指挥的,是一台偏差半毫米就有可能顶坏工件的机器。

于是,gap就出来了:一个靠“预测下一个符号”的模型,是怎么指挥机械臂动起来的?它的输出明明是词表上的一个位置,最后怎么落到电机线圈里的电流上了?

这个问题不弄清,看再多结构图也只是记住几个缩写。

图片

先看语言模型内部,是没有物理量的

文字进来,被切成token,每个token换算成一个整数编号,编号经过“嵌入层”变成一条高维向量。几十层注意力和前馈网络把这些向量翻来覆去地比对,最后仍旧落回同一个词表,给出下一个符号的概率。

整条运算链条里不存在毫米,不存在弧度,不存在牛顿米。因此,它不知道一毫米有多长,不清楚转一度对应多少机械位移,更感受不到一牛顿米施加在连杆上是什么效果。

VLA的主干脱胎于这套系统:图像被切成视觉token,指令被切成语言token,两类编号进同一个Transformer。

这个融合空间能分辨红色方块和蓝色方块,能读懂“把它放进盒子”这条约束,可它本身依旧不带物理标尺。

但是,视觉特征偏移多少像素,对应末端走多少毫米,模型心里没有这张换算表;语义里的“轻轻放”,对应多大的接触力,它也没学过。

伺服驱动器不读句子,也不看向量,它只认电流环下发的转矩指令。电机拿到电流才输出力矩,力矩推着连杆,连杆带着末端在真实空间里移动。

一端只有符号(模型端),另一端只有力(执行端),这两个端口之间没有天然通道,不存在一个 “意图→运动” 的直接映射。

所以,要让人的意图真正驱动机械,就必须搭一条连续的管线,把动作意图一级一级翻译成硬件认得的控制量:

“

语言在这里是什么身份?动作输出成什么形状?输出频率是多久?动作怎么变成关节力矩,怎么被真正执行?
图片

L是中间模态,还是和V一起编码?

先说结论:这两种结构都存在,但分量完全不同。

模型先输出一段人能读懂的句子,比如“向左移动,夹爪闭合”,再由下游的技能库或者规则解析器把这句话翻成动作序列。

这是把大模型当任务规划器的思路,语言在这里既是接口也是瓶颈。

好处是可解释,人能直接看懂它在想什么;坏处是链路太长。文本是高度抽象的符号,同一句话在不同构型不同场景下对应的运动并不唯一,多一层翻译就多一层误差,延迟也上去了。

这种方案适合长周期任务分解,不适合需要持续闭环的操作。

视觉编码器把图像压成视觉token,语言编码器把指令压成语言token,两串一起进主干,在自注意力里互相调制。

语言在这里不生成出来,它是条件信号。指令说“放进左边盒子”,语言特征就把注意力往左侧压,动作头的输出分布随之偏转。

这时候语言没有独立身份,它和视觉一起被投影到共同特征上,再从这个特征映射到动作。

图片

▲图 | 视觉token和语言token对齐在同一个空间,来自网络©【深蓝具身智能】编译

从概率角度看这两种结构会更清楚,因为模型学的是给定观测和指令时动作的条件分布。

语言进入这个分布有两条路:一条是当输入条件(对应前文第二种结构),也就是共享空间端到端;另一条是先采样出一个中间隐状态再条件化生成(对应前文第一种结构),也就是是文本中间层。

判别方法很简单:看梯度往哪走。

这些中间符号不是给人看的,而是用来加计算深度的:序列变长等于多走几步网络,近似于引入一个离散隐变量,先定一个中间状态再生成动作,表达力比一次性直映射强。

这种模型里语言算中间模态,但它不是必需的,去掉照样跑,只是精度掉一点。

共享空间端到端这条路,它之所以能成立,很大程度靠外部预训练。

视觉语言对齐干的事,本质是把“杯子的图”和“杯子这个词”拉到同一个度量空间里,让两者距离变近。做完这层对齐,动作头可以在这片已经整好的地形上做一个相对简单的读出。

如果没有这层预训练,那么从像素直接学动作要多一个量级的数据。

另外,在这里顺带说一下视觉压缩的问题。

视觉编码器把一张图压成几百个token,压缩比可能上百:螺纹孔的位置,透明件的边缘,反光表面的划痕,都可能在这步丢失。

语言指令在编码时信息量本来就低,它约束的是大方向。而多模态融合的实质是让低信息量的语言去筛选高信息量的视觉,把无关细节压掉,留下和任务相关的那部分。

这也是为什么VLA在大场景上表现好,在毫米级装配上容易翻车的原因。

目前,绝大多数现代VLA走共享空间路线,语言是条件,不是必经的翻译环节。

图片

输出的action是什么形式?

“动作输出”不是一个单选题,而是几个维度叠在一起:先选坐标和参考系,再选输出的是增量还是绝对量,最后选模型内部用什么形式把动作吐出来。

先说坐标系,这是最影响学习难度的选择

最直接影响学习难度的是动作描述在哪层空间里。

维度和自由度对齐(单臂六到七维,双臂十四维,人形一般三十维往上),可同一个末端运动在不同构型下对应完全不同的关节向量,学习难度陡增。

三个平移分量加三个旋转分量,再加一个夹爪开合,七维。这个描述和人的操作经验接近,和图像几何也一致,模型容易从画面里读出该往哪动。多数VLA选这个7维自由度。

图片

▲图 | 末端笛卡尔空间©【深蓝具身智能】编译

任务层再往下是物体相对空间:不描述末端在世界坐标里的绝对位姿,描述它相对目标物体偏了多少。

这种描述对相机外参和基座漂移不敏感,泛化更好,代价是要额外做目标定位。

再选输出语义:增量还是绝对

输出增量意味着模型只学变化量,当前状态由控制器提供,它不必记住绝对坐标,对本体标定误差不敏感,跨本体迁移容易。

输出绝对位姿意味着模型要建立全局坐标感,好处是不累积误差,坏处是标定一改全盘失效。实践里多是增量配短动作块。

图片

▲图 | VLA的全流程,右边是动作头

最后选出口形式

同一堆浮点数,在模型内部可以有不同的出口。

模型预测桶的编号,连续值变成分类。精度损失可以估算,动作范围除以桶数就是分辨率。按分位数切比均匀切划算,因为动作通常堆在零附近,均匀切会在稀疏区浪费桶。

图片

▲图 | 所谓桶Bin就是一个可以接受动作的范围(图片右侧)

先用编码器把一小段动作压成隐向量,在有限码本里找最近条目,模型预测索引。时间维也一起压了,一整块动作对应几个索引,推理负担低很多,代价是量化误差。

图片

▲图 | VLA使用共享码本表示动作action

主干后面接一层投影,直接出浮点向量,不走词表。延迟最低,表达力受那层线性映射限制,遇到强多峰分布会退回均值陷阱。

语言主干负责理解,动作专家负责出轨迹,两者在中间层通过注意力交换信息。这套结构把离散化的麻烦绕开了,代价是模型不再是纯粹的下一符号预测器。

动作空间预先切成有限选项,前进一小步,后退一小步,夹爪开合,模型每次挑一个,把输出形式直接压成有限选项。实现简单、训练稳,但是动作粗糙,做不了连续平滑的运动。

图片

输出频率是多少?

推理频率和伺服频率,不是一回事

至于频率,也要分两层看

粗规划任务一到三赫兹就够,隔零点几秒更新一次目标,机械臂不会跑偏。精细操作比如插销、装配、软物体抓取,主流设在五到十赫兹。要做到接近人手速度的高动态操作,部分研究会推到十五甚至二十赫兹。

这个环通常跑在五百到一千赫兹。它和VLA完全不是一个东西。

VLA只负责隔一段时间扔一个新的目标点或者增量下来,中间大量的平滑插值、抗扰动、误差修正,全在下层完成。

为什么不把VLA也拉到千赫兹?

主要是环境在两毫秒内几乎没变化,重复推理不必要;另外控制理论里有条硬规则,外环带宽必须明显低于内环,两个环同频会互相激励,系统直接振荡。

模型的观测有延迟,推理有耗时,频率拉得太高,它其实在拿旧画面指挥新时刻,反而更不稳。

动作块:把推理频率降下来的工程补丁

还有一个工程上的补丁,叫动作块。

模型一次输出未来若干步的连续动作,控制器按顺序执行,执行完再推理下一块。

它解决两个问题:

一是把推理频率需求降下来,二是让短时间内的动作有内在一致性,不会因为相邻两次采样差异而抖动。

至于块长,太短没意义,太长则模型对突发状况反应迟钝。块长乘以推理频率,大致要覆盖一个控制周期。

图片

action如何变成关节力矩,如何得到执行?

图片

▲图 | 从action到电流指令,其中闭环控制不是VLA做的©【深蓝具身智能】编译

从七维向量到关节力矩,再到电流

这一段是整条链路的技术内核,具体分为 7 个步骤:

模型给的是增量,控制器拿当前末端位姿叠加这个增量,得到下一时刻的期望位姿。

如果是动作块,就是一组期望位姿序列。

给定期望末端位姿,求一组关节角,使得正运动学的结果等于它。

这在数学上是解非线性方程组,通常没有解析解,用数值迭代。冗余机械臂有无穷多组解,得在零空间里加约束,避开关节限位,远离奇异构型。奇异点上雅可比矩阵降秩,末端在某些方向动不了,逆解会发散,实际系统要做阻尼处理。

相关阅读:机器人逆运动学(IK)到底在算什么?五个关键点从数学本质到工程落地

模型给的是速度或者需要插值轨迹时,用雅可比矩阵把末端速度映射成关节速度。

雅可比每一列代表某个关节转动对末端位姿的贡献,这是几何关系,和动力学无关。

相关阅读:聊聊雅可比矩阵,如何统一机器人控制的两条主线?

这一条经常被跳过,但它解释了力矩从哪来。

末端受到的接触力和关节力矩之间存在对偶关系,前者通过雅可比矩阵的转置映射到后者。换句话说,环境给末端的阻力,会按几何关系分摊到各个关节上。这是力进入关节空间的唯一通道,也是力控和阻抗控制能工作的数学基础。

同一台机器人在伸直手臂和弯着手臂时,末端受同样的推力,关节承担的力矩完全不同,差别全在这里。

关节力矩要驱动的是有惯性的连杆。真实动力学包含惯性项,包含科氏力和离心力项,包含重力项,还包含摩擦。惯性项取决于当前构型和负载,科氏力项和速度平方相关,重力项随姿态变化。

要让关节按期望轨迹运动,理论上得把这些项都算进去,这就是计算力矩控制。它做前馈,用模型预测的力矩去抵消动力学效应,剩下的误差交给反馈。

最常见还是比例微分控制。

力矩 = 位置误差乘比例增益 + 速度误差乘微分增益 + 一个重力补偿项。

比例增益在这个意义上就是刚度,增益越大末端越硬,跟踪越紧但越容易振荡。增益的选择受采样频率限制,频率低则增益必须小,否则离散化引入的相位滞后会让系统失稳。

纯位置控制撞上硬表面会产生很大的接触力,工件容易被顶坏。

阻抗控制换个思路,不追求严格到达目标位置,让末端表现得像一个弹簧阻尼系统,偏离目标时产生恢复力,力的大小由虚拟刚度决定;

导纳控制是它的对偶,把测到的外力转换成位置偏移。

两类方法都要力信息,来源可以是关节电流估计,可以是末端力传感器,也可以是串联弹性体的形变测量。力矩闭环难做,就是因为可靠的低成本力矩测量一直不便宜,弹性体还会带来带宽限制。

走完这些,VLA输出的七维向量,最终变成几路电流指令。

中间每一步都在引入约束和修正:模型给出的是意图,不是结果。

那么为什么不让模型直接出力矩,一步到位呢?

主要是以下几条不成立。

大规模机器人数据靠遥操作采集,操作员手里握的是主臂,采到的是末端位姿序列,不是力矩序列。要拿到力矩标签,得知道每个时刻的负载和摩擦,得知道逐台的动力学参数,这些参数还会随磨损漂移。

想训一个出力矩的模型,等于要求数据集里带动力学真值,现有采集体系给不出来。

模型学什么取决于标签是什么:标签是位姿,学出来的自然是位姿。

力矩指令是有物理后果的,错一点点就撞,就得靠毫秒级闭环去纠正。让一个大模型跑在千赫兹,算力上不可能,数据上也没必要。

语义泛化发生在视觉语言空间,换个杯子换个桌面,表征还能用。动力学泛化发生在参数空间,换个夹爪,加个负载,换台同型号但磨损不同的机器,动力学则全部变化了。

如果非要把两类泛化混在一个模型里,会互相拖累。

从可改的描述,到要承担后果的量

一个预测下一个符号的模型,凭什么能指挥机械臂?

答案得分两半看。

语言是条件不是环节,动作是七维末端增量、一到二十赫兹地出。这些都还只是 “下一步该往哪去” 的描述,没有量纲,不带任何物理后果。

期望位姿落成关节角,关节角进伺服环,误差经 PD 加权,叠上重力补偿和前馈得到力矩,力矩进驱动器变电流,电流进线圈出转矩,转矩推连杆带动末端,环境的反作用力再沿雅可比转置回传到关节。

这两半之间间隔的不是一个接口,而是一次性质转换:把一个没有量纲、随时可改的描述,一级一级换成有物理后果、改了就得承担的量。

转换也不是一步完成的,而是一级一级往上加约束:逆运动学加上关节限位和奇异点,动力学加上惯性和摩擦,PD 加上带宽上限,伺服环加上饱和。等到电流进了线圈,最初那句 “往左一点” 已经变成具体的、会被桌面顶回来的东西。

这也解释了两端对错误的容忍度为什么完全不同。

在模型那一端,错一个 token 只是概率低一点;在力矩那一端,错一点就是撞。

说到底,VLA解决的是表示问题,它把人的意图和环境画面压进一个可以被优化的空间,再从里面读出一个运动意图;力矩是控制问题,它关心的是在有限带宽和有限模型精度下怎么让实体稳定跟随。

两件事被一条分层链路接起来,各自在自己的时间尺度上工作。

看清楚这条链路的每一段,就不会再困惑为什么一个只会输出符号的模型能指挥机械臂,也不会再指望它直接算出出力矩。

编辑|咖啡鱼

审编|具身君


来源:深蓝具身智能

点赞 0
举报
收藏 0
评论 0
分享 0