
“ 把 “递归自我改进”(Recursive Self-Improvement)用到 3D 手部姿态估计上。
从第一视角视频中准确恢复双手的 3D 运动,是让机器人“看人学操作”的关键一步。
近日,具身智能部署基础设施提供商灵生 LIVSYN联合华南理工大学、悉尼科技大学、北京科技大学和清华大学发布技术报告HandRSI,把“递归自我改进”(Recursive Self-Improvement)用到 3D 手部姿态估计上:编程智能体在严格的基准约束下,一轮一轮地改进整个系统,既改进网络外面的推理代码,也通过蒸馏改进网络本身。
HandRSI 一览。左:在测试视频上的预测;中:编程智能体在嵌套反馈回路中改进推理代码并蒸馏进网络;右:与 ACE-Ego-Hand 及最强复现基线在十项指标上的对比
● 论文:
● 代码:https://github.com/GinKenneth/Hand_RSI
● 权重:
— 五轮之后 —

01.
问题:部署时的“老毛病”
如今的视频手部模型已经能在严重遮挡、短暂移出画面的情况下重建双手,但真正部署时仍有三个老毛病:画面边缘的手被漏检,被遮挡的手深度估错,指尖抖动。
工程上通常有两种修法。一是写推理 harness,也就是包在网络外面的推理代码:融合辅助检测器、施加形状和时序先验、用图像证据修正手的位置。二是重新训练或微调网络。这两件事都靠人工设计,而且互相牵连:对旧网络有用的修正,网络一更新就可能多余,甚至有害。
大语言模型领域已经出现了能根据执行反馈自己改代码的智能体。把这个思路搬到3D感知上,要先解决三个难点:
● 质量是多维的。 检测、3D 姿态、2D 对齐、位置和平滑度此消彼长,只盯一个指标,就会放进损害其他指标的改动。
● harness 是个“偏科”的老师。 在有 3D 真值的地方,它的姿态修正不如真值;但它知道网络不知道的东西,比如手什么时候可见、怎么运动。
● 网络一更新, 哪些 harness 模块还有用就变了。
02.
方法:三个回路,一个门控

HandRSI 一轮的流程:Loop A 进化推理 harness,Loop B 蒸馏进网络并重新验证,Loop C 把实验档案转化为下一轮的指导
● Loop A · 进化 harness。
8 个编程智能体(4 个 Claude Opus 5.5、4 个 GPT-6-sol)在开发集上编写 harness 模块。一个模块要被接受,必须在留出的验证数据上提升全部十项指标的综合得分,同时不能显著拉低其中任何一项。十项指标包括检测 3 项(帧准确率、召回率、F1)、3D 姿态 3 项、2D 与位置 3 项、抖动 1 项。
● Loop B · 蒸馏与重验证。
被接受的 harness 作为老师训练网络,并按信息来源分工:3D 姿态向真值学,“手在不在”“手怎么动”向老师学。网络更新后,harness 在新网络上逐个模块重新验证,不再有用的模块会被去掉。

重验证:网络更新后,逐个去掉 harness 模块做配对对比,判断它有用、冗余还是有害;删减方案通过基准检验才会生效(A–C 仅为示意)
● Loop C · 反思。
反思智能体读取所有历史实验的档案,规划下一轮。
整个过程中,智能体看不到验证集真值,也接触不到测试数据。
03.
结果:两大基准十项指标全部最优
从公开发布的 ACE-Ego-Hand 模型和一个空 harness 出发,灵生团队经过五轮,HOT3D 上 MPJPE-p 从 12.97 mm 降到 8.37 mm(−35%),ARCTIC(留出受试者)上从 15.58 mm 降到 13.85 mm(−11%),抖动分别降低 52% 和 44%。
● 全面对比: 在同一协议、同一视频片段、同一评测器下复现了九个已发表方法,HandRSI 在两个数据集的全部十项指标上都是最好的。
● 不只是“多用了数据”: 与用同样真值微调过的 ACE-Ego-Hand 相比,HandRSI 在 HOT3D 上 MPJPE-p 再低 16%,2D 误差低 27%,抖动低 51%。
● 泛化: 在从未见过的 HOI4D 相机上(所有方法都是零样本),HandRSI 的 3D 姿态误差低于所有已发表方法。
方法 | HOT3D 误差↓ | HOT3D 抖动↓ | ARCTIC 误差↓ | ARCTIC 抖动↓ |
WiLoR | 26.82 | 16.22 | 20.80 | 23.55 |
HaWoR | 24.94 | 11.86 | 33.62 | 13.37 |
ACE-Ego-Hand(起点) | 12.97 | 2.82 | 15.58 | 2.58 |
ACE-Ego-Hand 真值微调 | 9.91 | 2.77 | 15.51 | 2.57 |
HandRSI-Lite · 41.1 FPS | 9.06 | 1.47 | 14.53 | 1.58 |
HandRSI 完整系统 | 8.37 | 1.34 | 13.85 | 1.45 |
关键指标对比。误差为 MPJPE-p(mm),抖动单位为 mm/帧²,越低越好

完整对比表(十项指标):所有方法均在相同片段、内参和评测器下复现

与最强基线的可视化对比(白色轮廓为真值):基线容易漏掉被遮挡或离镜头很近的手
逐轮对照实验还给出了三个发现:只用智能体写的 harness、完全不动网络,也能提升原始模型,在没见过的相机上仍能改善 3D 姿态和抖动;越往后的 harness 越强,即使装回原始网络,第 5 轮的 harness 也比第 1 轮的更好(HOT3D 上 10.38 vs 11.13 mm);蒸馏主要把时间上的稳定性迁移进网络,第 2 轮之后收益趋于饱和。
04.
智能体到底写了什么
五轮里,智能体共提交 156 个方案,其中 98 个通过开发集预检、进入验证集门控,最终 73 个通过。最终的 harness 由 39 个模块组成,分为六类:

前几轮主要写时序、形状和位置模块;后几轮转向用图像证据精修输出、找回画面边缘的手:位置和手指关节模块从第 1 轮的 4 个和 1 个,增加到第 5 轮的 13 个和 8 个。
反思智能体给的方向也很具体。第 2 轮后,它给一个智能体定的重点是:
“HOT3D 开发集的 218 次漏检中,有 156 次是手被放到了画面之外。先修边缘定位,再管存在判断。”
这不就是加个滤波吗?
我们把经典后处理放进同样的流程:在验证集上选参数,再过同一个门控。
● 平滑滤波: 30 组参数(高斯、Savitzky–Golay、One-Euro)里最好的 Savitzky–Golay,在测试集上只让抖动降低 13%,姿态误差几乎不变。
● 2D 对齐: 最好的方案能降低姿态误差,但会挪动 2D 关键点不可靠的手,帧准确率掉了 12%,被门控拒绝。
● 直接融合 WiLoR: 按固定权重混入 WiLoR 的手指旋转,HOT3D 上误差只降 0.05mm;同样用到 WiLoR 的 Heavy 档降了 0.96 mm。
差别在于智能体怎么用这些证据:透视裁剪、一致性检查、限带融合。
05.
部署:速度和精度可以兼得
在实测的精度与速度前沿上,我们选出三档系统(单张 RTX PRO 5000,端到端帧率;网络单独运行为 42.5 FPS,完整系统为 16.2 FPS):
三档是嵌套的:Medium 在 Lite 上加 8 个模块,Heavy 再加上 WiLoR 图像证据模块,部署时开关模块即可切换。
三个部署档位:在验证集上按精度与速度选出,在三个测试集上检验
06.
三条经验
1.门控要同时看所有指标。 有 7 个方案综合得分显著提升,但某一项指标退步了 2.2%–23.7%,被门控拒绝;只看综合分的话,它们都会被接受。被接受的方案里,没有哪一项指标退步超过 3.9%,而且都不显著。
2.只从老师那里学真值缺少的东西。 3D 姿态有真值,老师的修正比不上真值:蒸馏老师的手指姿态,反而让姿态和位置变差。“手在不在”“手怎么动”则是真值覆盖不到的帧上只有老师知道的东西。
3.每次模型更新后,以及考虑部署开销时,都要重新检查 harness。 蒸馏配方选错时,三分之二的 harness 会变成冗余;按信息来源分工的配方让每个模块都保持有用。部署时也一样:Lite 只用一半模块,就拿到大部分收益。
07.
开源
来源:机器人大讲堂