AGIBOT 表示其 WITA-Omni Preview 多模态基础模型在 Daily-Omni 音视频推理基准测试中取得了最高分，表现优于阿里巴巴、谷歌和字节跳动的模型。
据该公司称，WITA-Omni Preview在第三方基准测试中的平均准确率达到85.21%，领先于Qwen3.5-Omni-Plus、Gemini 3.1 Pro Preview和Doubao Seed 2.0 Lite。
该模型在 音视频对齐、比较、事件排序以及基准测试的 30 秒和 60 秒视频子集方面取得了最高分。它还在八个报告的评估指标中的六个中排名第一或并列第一，包括在推理方面并列第一。
Daily-Omni 旨在评估模型在日常情况下理解和推理 音频和视觉信息的能力。该基准测试包含 684 个真实世界视频和 1,197 个多项选择题，涵盖六个任务类别，包括 音视频对齐、事件排序、推断与推理。
与主要关注图像文本理解的基准不同，Daily-Omni 评估 AI 模型是否可以将声音与可见事件关联起来，了解情况如何随着时间的推移而发展，并跨多种数据类型进行推理。
AGIBOT 表示，这些功能对于在动态环境中运行的具身智能系统尤其重要，在动态环境中，机器人必须确定谁在说话，将声音与动作联系起来，跟踪事件的顺序，并决定是否、何时以及对谁做出响应。
该公司表示，WITA-Omni 与传统的机器人交互系统不同，它扩展了“Thinker-Talker”框架，并添加了一个额外的“Actor”组件，该组件将运动和面部表情与语音一起视为本机输出。
该架构包含三个核心要素：
- Thinker 充当多模态推理引擎，在共享表示空间内处理文本、图像、音频 和组合的 音视频输入，以执行推理并做出交互决策。
- Talker根据Thinker的内部状态实时生成语音；和
- 演员产生协调的身体动作和面部表情。
AGIBOT 表示，这种统一的 Thinker-Talker-Actor 架构使感知、推理、语音、运动和面部表情生成能够在共享模型状态和时间轴内运行，从而使机器人能够在准备和提供响应的同时继续观察周围环境。
该公司表示，WITA-Omni 在继续训练期间接受了数千万小时的多模态数据训练，将其能力扩展到文本和图像之外，包括 音频感知和跨模态推理。
为了提高现实世界交互的性能，AGIBOT 还开发了一个以人为中心、跨越数千小时的多模态交互数据集。该数据集保留了 音频、视频、语言、身体运动和面部表情之间的时间关系，以帮助模型了解人类互动如何随着时间的推移而展开。
训练采用三阶段过程进行，包括监督微调、策略蒸馏和强化学习。
根据 AGIBOT 的说法，监督微调建立了模型的多模态理解和协调输出能力，而策略蒸馏将知识从可以访问额外上下文信息的教师模型转移到没有该信息的学生模型中。
强化学习阶段的重点是改进交互决策，包括响应准确性、时机、目标人选择以及确定是否应该给出响应。该公司表示，它使用组相对策略优化（GRPO）来优化模型的策略。
AGIBOT 表示，由此产生的系统不仅可以生成准确的响应，还可以确定响应是否适当、何时应该发生以及应该针对谁。
该公司表示，WITA-Omni Preview 构成了其交互智能平台的基础，该平台正在与操纵智能和运动智能技术一起开发，作为其“三智能合一”架构的一部分。
AGIBOT 表示，计划继续开发 WITA 系列多模式模型，并将该技术集成到其机器人平台中，以实现人与人工智能之间更加自然和情境感知的交互。
这家总部位于上海的公司开发具身智能基础模型和机器人系统，包括人形机器人、四足机器人、灵巧操纵系统和商用清洁机器人。 2026年6月，AGIBOT宣布第15000台机器人下线。
主要图片由 盼日报网