下一次工业革命将让体力劳动像软件一样具备可扩展性。我们期待这样的未来：物理 AI 成为共享的公共资源，任何人都可以在其基础上继续构建。

引言

今天，我们发布 Verne V0.5，这是一款开放权重的世界动作模型，旨在加速通用机器人在工业场景中的部署。截至本文发布时，在 LIBERO 和 RoboTwin 2.0 基准上，V0.5 是美国公司开发的开放权重模型中的领先模型。我们开放其权重，是因为我们相信，机器人技术的未来在于后训练与部署：让一个具备充分能力的模型，在真实设施中学会一项真实工作。将通用机器人投入工作的公司，应当能够基于一个开放、共享的模型，按照自己的需求进行适配。我们希望美国拥有一个强大的此类模型。

Verne 部署机器人，帮助美国企业制造更多产品、实现更大的构想。我们的机器人带来的价值超越了降低成本。它们拓展生产力的 Pareto 前沿，在半导体洁净室、冷库设施和大型仓库中承担繁重、令人疲惫的工作。这些部署经验同时塑造了我们开发的模型，以及围绕模型构建的工具。

在 Verne，我们相信每一家企业都能从通用机器人中受益。将机器人带入每一家企业，需要许多具备深厚运营经验的团队共同参与。有了 V0.5，这些团队可以从一个前沿模型出发，无需从头训练。

我们对这一平台的投入，源于自身部署过程中遇到的需求：高效学习新任务、适应不同环境，以及在生产中可靠运行。我们将持续推进世界动作模型的能力边界，同时改进相关工具，帮助团队将这些能力转化为成功的部署。

在开放权重的同时，我们还推出了一个微调平台，使团队能够使用自己的示范，将 V0.5 适配到自己的任务。对于希望与我们直接合作解决具体应用需求的伙伴，我们也提供定制部署服务。模型、平台和服务共同为团队提供了一个可以独立构建的基础；在机器人投入生产的过程中，团队也可以获得 Verne 的专业经验与支持。

本文将介绍 V0.5 的技术细节、Verne 技术栈，以及我们在构建它们的过程中获得的经验。

问题

我们的目标是让双臂移动机器人完成工业中常见的复杂、长时程任务。这些任务包含许多步骤，覆盖较大的工作区域。机器人必须跟踪任务进度，并从失败中恢复。随着工作内容变化，机器人必须作出适应，同时保持生产速度和精度。

Verne 技术栈正是为此构建的。它由三部分组成：V0.5 模型、数据与训练系统，以及推理与控制软件。它们共同提供四项能力：

• 长时程自主执行。 将简短的语言指令串联成新的长任务，并跟踪执行进度。

• 全身操作。 协同移动底座与双臂，使机器人能够覆盖大范围的作业区域。一个完整班次的工作无法全部放在一张桌子上，而将这些工作送到固定式机器人面前，则需要传送带或人工搬运。

• 快速学习与稳健的错误恢复。 在模型已有知识的基础上，使用不足两小时的示范与人工纠正，学会一个新任务，或一个较长任务中的新步骤，并从错误中恢复。教授一项任务所需的投入越少，值得自动化的任务就越多。

• 快速、精确的执行。 满足产线的节拍与精度要求。推理和控制协同工作，使运动保持连续、流畅，并能够及时响应。

图 1：长时程自主执行与全身操作。 机器人 A 将一个料箱从货架搬到桌上。机器人 B 扫描每件物品，并按照扫描器的指示，将其放入蓝色或绿色料箱。机器人 A 将空料箱放回货架顶层。自主执行，以 1 倍速播放，仅有一段 2 秒的视频以 2 倍速播放。

图 1：快速学习与稳健的错误恢复。 一个人用夹子拿走袋子，再将其扔回周转箱。每次 V0.5 都会重新将其拾起。自主执行，1 倍速。

图 1：快速、精确的执行。 一只机械臂将化妆包固定住，另一只机械臂拉开拉链，然后再将其拉上。自主执行，1 倍速。

本文demo视频查看原文

方法

系统概述

运行时，V0.5 与我们的推理和控制软件构成四个层级。任务目标从顶层输入，电机指令从底层输出。V0.5 是策略层，位于四层中的第二层。其余三层分别为高层推理层、执行层和控制器。

• 高层推理层。 使用现成的 VLM。它读取任务目标和相机图像，为 V0.5 提供下一条语言指令。一个长任务由此转化为一系列简短指令。

• 策略层：Verne V0.5。 一个包含两个 Transformer 的世界动作模型：视频 Transformer 学习场景如何变化，动作 Transformer 预测机器人运动。两者联合训练。运行时，模型仅生成动作。其输入包括当前相机图像、记忆、机器人状态和语言指令。它输出一个动作块，其中包含以 30 Hz 执行的目标，每个目标均包括末端执行器位姿、夹爪指令和底座位置，见图 2。它还会输出当前指令的执行进度。

• 执行层。 将每个动作块转换为针对具体机器人的关节轨迹。机器人执行当前动作块时，V0.5 规划下一个动作块。新动作块从推理结束时机器人将处于的状态开始，因此动作块之间的运动不会停顿或跳变。

• 控制器。 将关节轨迹转换为执行器的电机指令。它以 500 Hz 实时运行，独立于模型推理。

高层推理层与策略层的划分，遵循人类思维的双系统结构：System 1 快速且自动，System 2 缓慢且经过审慎思考。策略层 V0.5 对应 System 1，高层推理层对应 System 2。NVIDIA 的 GR00T N1 和 Figure 的 Helix 采用了类似的双系统设计。

图 2：全身操作。 一个机器人将货架上的饮料和零食装入推车，随后移动装载完毕的推车。V0.5 控制移动底座与双臂。自主执行，1 倍速。

数据

我们的数据采集面向工业工作流程。我们使用超过 170 万条示范对 V0.5 进行预训练，这些示范来自数据供应商、开源数据集以及我们自己的采集。在预训练语料中，我们主要关注遥操作数据，以及手持夹爪采集的数据，后者类似于 UMI 夹爪。除预训练外，我们还通过遥操作和手持夹爪记录自己的后训练数据，这些手持夹爪与机器人的末端执行器由我们协同设计。针对我们机器人上具体任务的后训练，仅使用 Verne 数据。

预训练和后训练中的数据质量，对模型的成功都至关重要。为此，我们建立了一条自动化的数据质量处理 pipeline。我们检查每段记录的时间信息、运动质量，以及指令是否准确描述了示范动作。

数据标签与标注对后训练过程的成功至关重要，它们确保模型能够可靠地接受语言引导。为此，我们建立了一条半自动标注 pipeline，为后训练示范 episode 提供与实际动作对应的子任务语言标注。我们借鉴 BLADE 的经验，应用半自动标注来识别机器人执行的子任务。

模型性能在预训练过程中持续提升。在不进行任何微调的情况下，当预训练所使用的数据比例从 29% 增至 100% 时，RoboTwin 2.0 上的成功率从 23% 提升至 51%，见图 3。我们观察到了显著的 Scaling Laws，与 Generalist AI、Physical Intelligence 和 NVIDIA 报告的结果类似。目前，我们正在将数据规模扩大至原来的 10 倍。

图 3：预训练过程中性能持续提升。 每个点对应一个未经微调的预训练检查点。我们在约 1,000 个 RoboTwin 2.0 episode 上评估每个检查点：每项任务在干净场景和随机化场景中各评估 10 次。虚线是用于描述趋势的最小二乘拟合。

策略层：Verne V0.5

V0.5 是一个世界动作模型（World Action Model，WAM）：它同时学习预测机器人接下来会看到什么，以及应当做什么。学习场景如何变化，有助于模型学习如何在其中行动。训练时，视频 Transformer 和动作 Transformer 通过掩码注意力交换信息并共同学习，两者各自具有独立的 Flow Matching 目标，见图 4。Fast-WAM、Motus 和 VPP2 是相关的视频—动作模型。

图 4：视频—动作学习。 两个 Transformer 共同训练。运行时，模型仅生成动作。

视频生成模型是学习场景变化的良好起点。不过，机器人操作对它们而言属于分布外数据：相机视角、运动以及与物体的接触，都与它们训练时所见的视频差异很大。VPP2 展示了这一差距，以及将视频模型适配到操作任务所带来的收益。V0.5 以 Wan2.2 视频模型为起点。我们扩展其架构，并使用超过 170 万条示范进行预训练。V0.5 的训练分为三个阶段，从机器人视频到机器人控制，再到具体任务，见图 5：

• 机器人视频预训练。 将视频模型适配到机器人观测，使其学习操作如何改变场景。

• 视频与动作联合预训练。 使用配对的观测和动作共同训练视频 Transformer 与动作 Transformer，将视觉预测与机器人实际产生的运动联系起来。

• 任务专用后训练。 使用少量 Verne 数据，通过微调、人工纠正和 RL，将模型适配到部署任务。每个循环都从机器人上的评估开始。

图 5：三个训练阶段。 最后一个阶段反复进行：评估、纠正，再次后训练。

运行时，V0.5 直接生成动作，不生成未来视频。VPP2 等视频规划方法先预测未来的视觉表示，再使用逆动力学模型寻找能够到达该表示的动作。V0.5 将视频预测保留为训练信号，并省去它在运行时的开销，与 Fast-WAM 遵循相同的原则。

图 6：医疗套件配装。 V0.5 通过末端执行器位姿和夹爪指令控制双臂：从四个物料托盘中拾取物品，并将每件物品放入套件托盘中对应的槽位。自主执行，1 倍速。

V0.5 在末端执行器空间中执行动作，而非关节空间，见图 6。这样，来自不同设备的示范，无论其关节构型如何，都可以共享同一种运动描述，这与 UMI 的接口设计一致。

高层推理层：使用 VLM 进行规划

V0.5 每次遵循一条简短的语言指令，例如“拿起杯子”。高层推理层将长任务拆分为一系列这样的指令。一个现成的 VLM 读取任务目标、相机图像，以及记忆和地图等上下文信息。它向 V0.5 提供下一条指令，并更新计划。V0.5 汇报每条指令的执行进度。这一设计借鉴了 STACK、BLADE 和分层规划。

图 7：组装化妆套装。 高层推理层将任务规划为四个步骤，并为每一步向 V0.5 提供一条指令：“向包中放入一件液体化妆品”“向包中放入一件眼霜”“向包中放入一件润唇膏”，以及“固定住包并拉上拉链”。它读取相机图像，检查哪些物品已经放入包中。只有在上一步完成后，它才会开始下一步。自主执行，1 倍速。

这两层协同完成了任何一层单独都无法完成的任务。在图 7 中，高层推理层逐步组装化妆套装。每一步对应一条指令，因此推理层能够处理各类产品数量不同的订单。它也能从错误中恢复：它统计包中的物品，当某件物品掉落时，会要求 V0.5 再次将其拾起。在料箱搬取片段中，它识别出料箱已经清空，并要求 V0.5 将料箱放回货架。它还可以通知人员需要补充料箱中的物料。推理层使用普通语言向 V0.5 下达指令，因此，当新任务由 V0.5 已经掌握的步骤组成时，只需要提供一个新的任务目标。在图 1 的双机器人片段中，同一个推理层指挥两台机器人。

执行层：Action Chunking

执行层将每个动作块转换为机器人的带时间信息的关节轨迹，并将其衔接到已经进行中的运动上。

通过实时 Action Chunking（real-time chunking），模型规划时，机器人仍可持续运动。V0.5 计算下一个动作块期间，机器人执行已经确定并进入队列的目标。V0.5 将这些目标视为既定条件，在其后规划动作块的剩余部分，使新动作块能够无停顿、无跳变地衔接当前运动，见图 8。

图 8：动作块衔接的仿真。 当两个动作块不一致时，线性混合会将它们平均为一段两个动作块都未曾规划的运动。实时 Action Chunking 保留机器人在推理期间执行的目标，并在这些目标之后规划剩余部分。V0.5 在训练时使用最多 12 个已确定目标，因此可以容纳最长 400 ms 的推理延迟。

衔接动作块有三种常见方式。同步替换会在模型规划时停止机器人。线性混合在衔接处逐渐从旧动作块过渡到新动作块。当两个动作块不一致时，平均结果是一段两者都未曾规划的运动。实时 Action Chunking 则保留已确定的目标，并在其后进行规划。

控制器

V0.5 持续输出动作块，执行层将其转换为关节目标。控制器再将这些关节目标转换为电机指令。即使负载或接触状态发生变化，它也能使机械臂保持对目标的跟踪。

合适的控制器取决于执行器。谐波传动能够提供精确、低回差的定位，但较高的减速比会增加摩擦和折算到关节侧的电机惯量。准直驱（Quasi-Direct-Drive，QDD）执行器将高转矩电机与低减速比相结合，使关节能够被反向驱动，并快速响应外力。

我们的多数机器人使用 QDD：它能够很好地处理接触，成本也远低于谐波传动。配有关节转矩传感器的谐波传动同样能够很好地处理接触，但目前，在机群规模下，其成本往往高得难以承受。QDD 的弱点是跟踪性能。重力、负载变化和关节间耦合，都会表现为未被指令要求的运动。增加阻尼会减慢跟踪，增加刚度则会使机械臂对接触到的物体施加更大的力。因此，剩余的精度提升必须来自控制指令，而非增益。

控制器是一个独立于模型推理的 C++ 进程。它运行在实时 Linux 内核上，使用实时优先级和锁定内存。时序非常重要：训练与执行共用一个以相机采集为基准的时钟，使每个动作都与产生它的图像帧对齐。如果控制器出现时序漂移，策略看到的就会是实际上从未同时发生过的指令与观测，误差也会不断累积。

策略执行时，控制器从预先填充的队列中依次执行目标，因此推理耗时和网络抖动不会传递到电机。它还对机械臂动力学建模，并对关节速度、加速度和转矩进行前馈控制，从而在跟踪误差累积之前采取动作，而不是等误差形成之后才响应。图 9 展示了同一个 V0.5 策略在相同任务上，分别使用原版 YAM 控制器和我们控制器的表现。

图 9： 同一个 V0.5 策略分别使用原版 YAM 控制器和 Verne 控制器拆卸 LEGO。两个片段使用同一个时钟播放，因此两次执行按秒对齐。

我们为每个控制器进行了 20 次 LEGO 任务运行，测量其末端执行器对指令目标的跟踪程度，见图 10。原版 YAM 控制器将每个目标作为位置目标发送，并将目标速度设为零。因此，其阻尼会对每一次运动产生阻碍，使机械臂在各个速度下都比指令滞后 52–60 ms。机械臂移动得越快，落后得就越远：误差中位数从 9 mm 增长至 26 mm。使用 Verne 控制器时，机械臂的滞后为 4–12 ms，且在各个速度下，误差中位数都保持在 2.2–3.5 mm 之间。

在 30 Hz 下，60 ms 几乎相当于两个指令目标的间隔。这一延迟会削弱实时 Action Chunking 的效果，见图 8，因为该方法假设机械臂能够按时到达每个已确定目标。V0.5 与控制器协同工作：模型从机械臂将要到达的位置开始规划，控制器则使机械臂按时到达那里。

图 10： LEGO 任务运行期间，按指令末端执行器速度分组的双臂跟踪表现：每个控制器使用同一个 V0.5 策略运行 20 次。跟踪误差指同一时刻指令末端执行器位置与实测位置之间距离的中位数。滞后指机械臂运动相对于指令的延迟，即使实测末端执行器速度与指令速度达到最佳对齐时所对应的时间延迟。

演示

我们在九项操作任务上对 V0.5 进行了后训练，任务范围从长时程全身搬取，到接触密集型桌面装配。

全身料箱搬取

任务数据不足 2 小时。

机器人从货架上取下一个料箱，放到桌上。料箱清空后，机器人将其放回货架顶层。高层推理层规划步骤，V0.5 执行每个步骤。自主执行，1 倍速。参见“高层推理层”。

全身商品拣取

任务数据不足 2 小时。

机器人将货架上的饮料和零食装入推车，然后移动装载完毕的推车。每个动作块协同移动底座和双臂。自主执行，1 倍速。参见图 2。

短裤贴标

机器人将一条短裤铺在桌上，从打印机上揭下标签，并将其按压到短裤上。随后移走短裤，开始处理下一条。自主执行，1 倍速。参见“策略层”。

DIN 导轨

按照产线节拍进行抓取与放置。每个部件都必须安装到对应导轨上并就位。自主执行，1 倍速。参见“控制器”。

披萨盒

将一张平面的纸板坯折成一个闭合的盒子。每次折叠都依赖前一次折叠。自主执行，1 倍速。参见“策略层”。

LEGO 积木

机器人从堆叠中逐块拔下积木，并按颜色分拣到料箱中。自主执行，1 倍速。同一任务在两种控制器上的表现参见图 9。

医疗套件配装

机器人从四个物料托盘中拾取物品，并将每件物品放入套件托盘中对应的槽位。V0.5 通过末端执行器位姿和夹爪指令控制双臂。自主执行，1 倍速。参见“策略层”。

化妆套装

每个步骤的任务数据不足 2 小时。

机器人将一件液体化妆品、一件眼霜和一件润唇膏放入包中，然后拉上拉链。对于每个步骤，高层推理层给出一条指令，V0.5 拾取指令中指定的物品。自主执行，1 倍速。参见“高层推理层”。

扫描与分拣

机器人从周转箱中逐件拾取物品，进行扫描，并按照扫描器的指示，将其放入蓝色或绿色料箱。自主执行，1 倍速。同一任务中的恢复行为参见图 1。

结果

我们在 LIBERO 和 RoboTwin 2.0 两个公开仿真基准上，将 V0.5 与已发表的结果进行比较。对于每个基准，我们都使用该基准自己的训练示范对 V0.5 进行微调，并按照其标准协议评估。比较对象包括其他世界动作模型和 VLA 模型，其中包括 π0.5 和 π0。

仿真基准

LIBERO 包含四个任务套件，每个套件各有十项任务：Spatial、Object、Goal 和 Long。V0.5 在四个套件上的平均 episode 成功率为 99.3%，在多步骤的 Long 套件上为 99.2%，见图 11。π0.5 的平均成功率为 96.85%，π0 为 94.15%。ABot-M0.5 的平均成功率略高，为 99.4%，但其 Long 得分较低，为 98.4%。

图 11： LIBERO 成功率，展示四个套件的平均值和 Long 套件结果，按照这两个数值的均值排序。其他结果采用各自作者发表的数据。我们的平均成功率的 95% 区间为 98.8%–99.7%。

RoboTwin 2.0 包含 50 项双臂任务。其协议使用 2,500 条干净场景示范对每个策略进行微调，每项任务 50 条。随后在干净场景和随机化场景中评估策略，随机化场景包含杂物、新纹理、不同光照和不同桌面高度。V0.5 在干净场景中的 episode 成功率为 81.0%，在随机化场景中为 73.4%，见图 12。π0.5 分别为 70.7% 和 46.0%。

图 12： RoboTwin 2.0 在干净场景和随机化场景中的成功率。V0.5 对每项任务、每种场景类型评估 100 个 episode，随机化场景中的 Scan Object 任务为 90 个。其他结果选自 2026 年 10 月 30 日的排行榜。

截至 2026 年 11 月 1 日，在美国公司开发的开放权重模型中，V0.5 在 LIBERO 和 RoboTwin 2.0 上领先。最接近的模型分别是 NVIDIA 的 Cosmos Policy，其 LIBERO 成功率为 98.5%，以及 Physical Intelligence 的 π0.5，后者是 RoboTwin 2.0 上最接近的模型。

困难任务与随机化场景

与顶尖开放权重模型 π0.5 相比，V0.5 在 π0.5 最薄弱的地方提升最大。在 LIBERO 上，V0.5 与 π0.5 在 Spatial 套件中持平，均为 98.8%。在多步骤任务套件 Long 上，V0.5 领先 6.8 个百分点。在 RoboTwin 2.0 上，我们针对任务与场景类型组成的全部 100 个组合，逐一比较两个模型，并按照 π0.5 的成功率分组，见图 13。在 π0.5 成功率低于 30% 的组合上，V0.5 平均领先 38.5 个百分点。在 π0.5 成功率已经达到 90% 或更高的组合上，V0.5 落后 4.4 个百分点。

图 13： RoboTwin 2.0 上 V0.5 与 π0.5 的成功率之差，以百分点计，并对每组中的任务与场景类型组合取平均。分组依据是 π0.5 的成功率； 表示组合数量。π0.5 的结果来自 2026 年 10 月 30 日的 RoboTwin 2.0 排行榜。

V0.5 在随机化场景中保持了较好的表现。杂物、新纹理、不同光照和不同桌面高度，使 V0.5 的成功率平均下降 7.6 个百分点，使 π0.5 下降 24.7 个百分点，因此我们的领先幅度从干净场景中的 10.3 个百分点，扩大到随机化场景中的 27.4 个百分点。在 50 项任务中，π0.5 有 11 项任务的成功率下降了至少 40 个百分点。V0.5 没有任何任务出现如此大的降幅。当 V0.5 能够在干净场景中完成一项任务时，它通常也能够在随机化场景中完成，见图 14。

图 14： RoboTwin 2.0 各项任务在干净场景与随机化场景中的成功率。每个点对应 50 项任务中的一项。位于对角线上的点表示该任务在随机化场景中的成功率没有下降。 表示跨任务的相关系数。

结论

人工智能的下一个前沿，是帮助人们建设更好的物理世界。机器人扩展了我们能够制造的事物范围，承担危险、令人疲惫的工作，并将更多人类构想变为现实。我们希望帮助建设这样的未来。

从今天开始，我们通过三种方式推进这一使命。我们发布 V0.5 的权重，使任何人都能在其基础上继续构建。我们推出微调平台，使开发者、科学家和研究人员能够使用自己的示范，教会 V0.5 执行自己的任务。我们为合作伙伴提供定制服务，将 V0.5 部署到他们的应用场景中，服务对象既包括小型初创公司，也包括制造企业内部经验丰富的自动化团队。

我们正围绕开发者构建 Verne 技术栈，使数据采集、模型训练和机器人部署更加容易。在未来几个月，我们还将发布手持夹爪，使你能够记录希望机器人学会的工作示范。

将机器人带入每一家美国企业，需要许多团队共同参与，也需要能力持续增强的智能。我们的下一代模型已经开始训练。它规模更大，并从更加多样化的数据中学习。

最重要的是，我们希望帮助构建一项由美国引领、世界各地的人们都能在其基础上继续发展的开放机器人事业。十四个月前，Physical Intelligence 开放了 π0.5 的权重，推动了能力边界的拓展。NVIDIA 在 Cosmos 及相关模型上的工作，也是另一项重要贡献。我们非常尊重它们的开源努力。V0.5 是我们为这项事业作出的贡献。

引用

@misc{verne2026v05,
  title  = {Verne V0.5: An Open-Weight World Action Model to Accelerate Industrial Robot Deployments},
  author = {{Verne Team}},
  year   = {2026},
  url    = {
}

来源：human five