北京初创公司LiberAI发布世界动作模型Liber-0。该模型预训练使用超过220万小时的人类经验数据,结合人类动作视频、Liber Sense Glove记录的运动数据和具身条件学习,把人类操作经验迁移给机器人。
公司在一组独立的60项任务上评估模型,其中包括20项抓取放置任务、20项非抓取操作任务,以及20项高难度非抓取和长程任务。600次测试中,三类任务成功率分别为63.5%、34.0%和10.5%,综合成功率为36.0%。这里的“零样本”是指评估检查点没有使用针对目标任务专门采集的机器人示范数据,但预训练阶段仍包含机器人数据。
传统机器人操作依赖人员遥控特定机器人采集示范,数据贴近部署环境,却难以低成本扩展到新任务和新平台。人类活动视频数量更丰富,但摄像机视角、手部姿态噪声以及人和机器人身体结构差异,使视频无法直接转换为机器人指令。
LiberAI通过三种方式缩小差距:Liber Sense Glove直接记录手部运动;机器人平台采用更接近人的摄像机视角和手、腕、腰运动方式;统一具身表示则向模型提供身体形状和关节运动信息,让动作适配不同本体。Liber-0联合预测未来视频帧和动作,因此既能学习带运动测量的手套与机器人数据,也能利用没有动作标签的普通视频。
在一项受控实验中,仅使用机器人数据时,非抓取任务进度得分为2.2;加入对应的手套数据后升至47.5;手套数据再覆盖抓取动作后升至54.6,接近机器人示范策略的56.3。该实验与60项零样本任务评估相互独立。
另一项8任务实验显示,在示范数量可比的条件下,使用25%机器人数据和全部手套数据训练的策略获得75.6分,高于仅使用全部机器人数据的72.8分。这意味着在该设置下,手套记录可减少75%的机器人示范数据需求,但仍需要完整的手套数据集。
直接评估预训练检查点时,抓取放置和非抓取任务进度得分分别为81.4和72.3;加入机器人后训练数据后分别提升至83.6和73.8。公司认为,小幅提升说明预训练已经掌握了大部分所需能力。
LiberAI还开发了交互式仿真,用户可上传物体并观察Liber-0在虚拟环境中操作。该版本使用100小时仿真遥操作数据完成后训练,没有接受额外的物体专项训练。
公司创始人兼CEO刘松明表示,人类视频能够呈现做了什么,却不能准确说明手如何移动、动作如何适配不同身体;把经验建立在可测量运动上并与机器人本体对齐,是转化为机器人能力的关键。现阶段Liber Sense Glove能记录手部姿态和轨迹,但不能记录装配、拧紧及柔性材料操作所需的接触力;触觉、力感知和更广泛的家庭数据采集仍是后续研究方向。