Orbbec 提供一系列用于机器人感知、拾取和导航的摄像头。来源：Orbbec

贸易展览场地上的机器人看起来毫不费力。它滑向垃圾箱，识别物体，伸手进去，并将物品准确地放置在需要去的地方。众人点头。投资者记笔记。工程师们庆祝。然后机器人运送到目的地，世界不再像演示一样运行。

这种演示到部署的差距仍然是机器人技术中最持久的挑战之一。在受控条件下表现出色的机器通常会遇到变化的光线、反光表面、透明材料、移动的人员和叉车交通等问题。

机器人不需要像人类一样看东西。机器人感知应该是可靠的，特定于任务的，并且在实际操作条件下可测量。

受控环境问题

实验室条件通常有利于感知堆栈。照明、物体位置和背景都受到控制，机器人获得了一切优势。现实世界的环境不会给予这些好处。仓库地板、医院走廊和生产线引入了变化的光线、反射表面、移动的人员、振动和材料变化。

这些变量中的每一个都可能暴露出演示中从未出现过的弱点。看似计划或操作失败的情况可能始于传感、校准或置信度估计不佳。机器人无法可靠地围绕自信但错误的深度图进行规划。

传统的 2D 相机对于识别、检查和跟踪仍然有用。但二维图像不能测量深度。深度可以从运动、学习先验或多视图几何中推断出来，但这些估计在光照、纹理、遮挡或材料发生变化。

这就是为什么 3D 视觉系统、深度相机和传感器融合已成为机器人部署的核心。机器人需要来自物理世界的空间测量，而不是来自平面图像的更智能的猜测。

深度传感不是单一技术

机器人视觉已经经历了几代传感技术，每代传感技术都解决了一些问题，同时引入了其他问题。

早期的机器人视觉系统严重依赖于与高度结构化的环境相结合的 2D 相机。装配线机器人使用固定的零件位置、方向和照明。在许多情况下，智能位于灯具中，而不是传感器中。

结构光系统将已知图案投射到场景上，并通过读取该图案的变形来估计深度。这种方法可以很好地用于室内检查和测量。然而，它可能对环境光、运动、反射或透明表面以及其他物体的干扰敏感。她的主动发射器。

立体视觉使用两个偏移相机来估计深度。通过匹配两幅图像之间的对应点，系统估计视差并将其转换为深度。被动立体取决于纹理和光线；主动立体声为低纹理场景添加了红外投影。立体系统可以很好地适应机器人技术，但低纹理、重复图案、运动模糊、遮挡、反光材料和范围权衡都很重要。

飞行时间 (ToF) 技术可估计返回红外光的距离。 ToF 相机结构紧凑、速度快且适用于密集深度，但环境红外、多径反射、反射表面和距离模糊都会扭曲结果。

实际结论很简单：没有一种传感器类别是普遍最佳的。结构光、立体光、ToF、激光雷达、RGB 相机和惯性测量单元 (IMU) 都具有有用的作用。正确的选择取决于任务、范围、照明、材料、运动、计算e、安全需求和容错能力。

有效的 3D 机器人感知取决于一系列传感技术。来源：Orbbec

更好的人工智能有所帮助，但它并不能替代可靠的测量

人们很容易认为人工智能可以补偿传感器的限制。人工智能可以显着提高机器人的感知能力。它可以对深度图进行降噪、填充间隙、融合 RGB 和深度、估计姿势和跟踪运动。

人工智能仍然依赖于可靠的物理数据。机器人需要足够正确的深度估计才能采取行动。在人、昂贵的商品或机器附近，差异很重要。

对于部署，感知需要测量、不确定性、验证和优雅降级。如果传感器饱和、失去纹理、透过玻璃、接收多路径反射或偏离校准，系统应该识别置信度降低，而不是默默地将不良几何结构传递给下游。

在机器人技术中，看起来自信的感知失败通常比明显失败的感知失败更危险。

机器人感知系统必须拥有足够的真实数据以确保确定性。来源：Orbbec

现实世界的部署实际需要什么

部署是难题最容易出现的地方。机器人可能在集成方面表现良好，但在实验室遗漏的边缘情况下可能会失败：黑色橡胶、光滑包装、透明薄膜、阳光照射的门口、振动、灰尘或重叠的主动深度摄像头。

部署团队应根据整个操作范围评估感知系统。真正的问题是感知堆栈能否在对任务至关重要的条件下产生可靠的空间信息。

评估应涵盖深度精度、延迟、校准漂移、计算负载、机械配合以及对灰尘、振动和干扰的适应能力。它还应该测试光泽、深色、透明、金属和低纹理表面。

照明必须被视为变量，而不是背景假设。在受控室内照明下工作的系统在阳光直射、混合 LED 光源、闪烁、阴影或近红外干扰下的表现可能会有所不同。还应验证多摄像头操作，尤其是在涉及主动照明时。

部署就绪性来自于操作条件实际分布的可重复性能，包括不方便的操作这些很少出现在精美的演示视频中。

相机和其他传感器必须针对真实材料和环境进行优化。来源：Orbbec

机器感知的下一步是什么？

机器人行业并不缺乏雄心。人形机器人、自主仓库、医院物流和工厂自动化都依赖于能够足够可靠地感知物理世界并在其中采取行动的机器。

机器人感知的未来将来自更好的深度传感、传感器融合、在线校准和验证。立体声系统将通过更强大的匹配算法和神经处理继续改进。 ToF 系统将受益于更好的调制方案、多径缓解、动态范围和传感器融合。

结构光在受控近距离测量和检查中仍然很有价值。 RGB、深度、激光雷达、IMU、触觉传感和语义模型将越来越多地协同工作，而不是作为孤立的技术进行竞争。

最重要的进步可能不如新算法那么迷人：感知系统知道何时不确定，优雅地降级，并向规划和控制公开有用的置信信息。机器人感知需要足够的准确性、速度和不确定性意识来支持任务。

要使部署看起来更像演示，首先要构建对机器人实际面对的世界的感知，而不是我们希望它们操作的世界。

关于作者

David Chen 持有博士学位工程力学专业，专攻光学测量系统。他自 2009 年以来一直致力于开发 RGB+Depth 相机，自 2013 年加入 Orbbec Inc. 以来，为 10 多种产品在全球的成功发布做出了贡献。

Orbbec 提供的产品涵盖结构光、立体视觉、ToF 和激光雷达技术。该公司表示，其传感器为机器人和制造、物流、零售、3D 扫描、医疗保健和健身系统提供动力。