Avride 已将视觉语言模型集成到其送货机器人中。资料来源：Avride

Avride Inc. 打造了具有高度自主性的送货机器人。每天，数百人完全独立地在繁忙的城市街道上行驶，在其机载计算单元上本地处理复杂的传感器数据。我们的人行道机器人在运行时几乎不需要人类参与，能够可靠地自行处理标准的城市机动、行人和交通信号灯。

然而，即使在狭窄的道路或恶劣天气等具有挑战性的条件下，有效管理导航机制也只是等式的一部分。确保机器人在异常、敏感或高风险的现实世界中表现得体环境需要不同类型的智能。

为了添加主动的环境感知层，我们将基于云的重型视觉语言模型 (VLM) 作为自动化的“VLM 观察器”集成到其系统中。

从对象检测到整体场景理解

Avride 的机载感知堆栈功能已经非常强大。我们的送货机器人结合了机载传感器和本地神经网络，旨在检测周围的主体，包括骑自行车的人、儿童、轮椅和紧急车辆。

但是，虽然我们的机载模型可以识别这些单独的元素，但某些现实场景需要更深入的上下文理解。

考虑场景如何在城市街道上展开。在人行道上遇到警察或消防员可能暗示正在发生不寻常的事情，但基本的物体检测不足以掌握全貌。

例如，识别要求警察从活跃、敏感的犯罪现场转移后步行回家是一项非常重要的任务。它需要全面了解多个元素如何在框架内相互作用——将场景解释为一个整体场景，而不仅仅是检测到的物体的清单。

我们希望显着降低送货机器人意外进入活跃紧急区域、穿越现场犯罪现场或滚入未绘制地图的道路施工的可能性，在这些道路上，新的湿水泥看起来就像标准的灰色人行道。虽然机载模型捕获了导航所需的主要实体，但云中的厚重基础模型擅长这种整体解释，立即将整个情况的深层语义上下文拼凑在一起。

工作原理：VLM 作为云守护者

需要澄清的是：我们不使用 VLM 来驱动机器人。使用重型云模型进行实时驾驶会引入延迟和连接依赖性es 会危及安全。相反，VLM 充当我们远程协助团队的自动化“预警系统”。

• 数据摄取：自动驾驶时，机器人每隔几秒就会将快照从摄像头传输到云端。为了保护公共隐私，所有视觉数据在离开机载计算之前都会在机器人上自动进行匿名化（面部和车牌在本地进行模糊处理）。
• 上下文评估：在云端，VLM 观察器处理快照源，将视觉数据转换为街道上正在发生的事情的语义描述。我们使用详细的提示来指导模型，该提示准确定义了要查找的异常、敏感或复杂情况的类型。 VLM 根据这些特定指令评估场景，并为场景分配特定的高风险标签。
• 人机交互：如果模型标记了危急情况标签，它立即提醒我们的远程协助团队。然后，助理可以查看实时反馈，以确保机器人能够无缝运行，为紧急救援人员让路，或者远离限制区域。

由于人工智能领域正在飞速发展，我们不会将我们的基础设施与单一提供商联系起来。我们将此云层视为开放、即插即用的架构 - 不断实验、测试和基准测试最新的最先进模型，以确保我们始终使用最准确的语义解释器。

机器人摄像头的视图显示了具有额外安全层的自主性：机器人自主地向移动轮床的急救人员让路。同时，云 VLM 观察者会标记异常情况，并引入远程助手来监控场景。资料来源：Avride

从数据挖掘到实时操作的演变

将实时 VLM 集成到 Avride 的日常操作中是我们内部工程工具的自然演变。

存储和处理每天运行的数百个机器人的每一分钟视频非常昂贵且不必要。我们不想保存一切；我们只想保留真正有助于我们改进技术和维护安全的数据。

从历史上看，我们使用这个精确的 5 秒实时流分析管道作为数据过滤工具。云 VLM 实时监控传入流，以自动挖掘罕见、有价值的场景，例如特定的动物互动或复杂的基础设施 - 我们可以安全地保存为预匿名数据，以便进一步标记和培训。

事实证明，该管道在实时发现独特的现实世界环境方面异常准确，因此将该工具扩展到实时操作中成为合乎逻辑的下一步。如果系统已经能够实时识别独特的上下文，它就可以有效地用于触发实时人类监督。

我们将这种数据挖掘基础设施直接集成到我们的生产管道中，在尖端人工智能和人工协助之间建立了无缝桥梁。

未来之路：将 VLM 带到边缘

在云中操作这些重型模型对于今天来说是一个非常有效的解决方案，但这只是一个开始。随着 VLM 通过优化技术变得更加紧凑，并且随着下一代机载机器人硬件变得更加强大，我们的最终目标很明确。

最终，这个深层语义层将成为现实。我将直接从云端迁移到机器人的机载计算上。这将使我们的机器人能够完全在边缘实现更深层次的自主决策，完全独立于网络连接。

在此之前，我们的云到远程协助安全网可确保 Avride 送货机器人在人行道上保持礼貌、负责和有意识的公民。

关于作者

Roman Nefedov 是 Avride 的自动交付主管，负责自动交付产品的端到端责任，监督整体业务运营和软件开发。 Nefedov 此前曾领导该公司的送货机器人工程部门，拥有超过十五年的技术领域专业知识。

在他的职业生涯中，他曾专注于领导大型工程团队并推动智能设备和消费物联网产品的开发。