要让人形机器人在现实世界中运行，仅有视觉还不够。图片来源：Adobe Stock
在近期多场大型科技活动中，人形机器人随处可见。一些机器人已经能够以几年前难以想象的灵巧程度行走、导航和操作物体。然而，尽管技术进步显著，当我尝试在Treble与这些机器人交流时，它们的表现仍难以令人满意。
长期以来，Treble一直专注于支持先进音频与语音技术开发，并为全球领先产品构建音频AI。因此，我自然会从这一视角观察机器人，但机器人在交流和听觉感知方面的发展不足仍然令人惊讶。
我们正在制造能够像人类一样运动、甚至在许多情况下拥有更强视觉能力的机器，但它们还无法以自然方式与人互动。在我看来，这项挑战将决定机器人技术能否真正获得采用。
人机交互将成为机器人被广泛接受的关键门槛，因为它直接影响信任、安全、效率和易用性。
现实世界嘈杂、复杂且充满变化
人形机器人乃至更广泛的移动物理AI，只有能够通过语音有效沟通，才可能真正被人们接受；这种能力不能只在受控、安静的环境中有效，还必须适应现实生活场景。
这些场景包括拥挤的展会、工业环境、城市街道，以及充满噪声、移动声源、混响和不确定性的家庭。人类每天都在这些环境中活动，而现有具身智能音频与语音系统恰恰容易在这些条件下失效。
声音尚未成为机器人研发重点也可以理解，因为当前竞争环境更奖励可见且可量化的进步。
运动能力是直观的进步指标；视觉感知则已有成熟而强大的生态，具备丰富数据、完善模型和可扩展训练流程。
从数据采集到仿真，整个技术栈都围绕这些模态不断发展，数据充足、基准明确，性能改进也容易展示。
仿真尤其已成为机器人进步的重要基础。NVIDIA Isaac Sim等平台使快速迭代和大规模训练成为可能，这些系统能力强、设计成熟，也符合行业的整体经济逻辑。
但这些平台也揭示了一个重要事实：我们训练智能机器的环境主要以视觉为中心，而且大多是无声的。
这并非偶然，而是在算力、工程资源和可实现性等现实约束下作出的理性选择；其结果是，感知与交互中的听觉维度长期没有得到系统发展。
Treble从进化角度审视听觉差距
从人类进化的角度看，这一差距更加明显。我最初接受的是生物学训练，后来转向音频技术，因此仍习惯从生理与进化视角思考这些系统。
人类经过数千年进化，将大量能量用于处理感觉信息。视觉占据大脑感觉处理负荷的很大部分；听觉虽然消耗较少，却仍是第二大组成，视具体环境约占15%至20%。
因此，视觉成为早期机器人系统的主导模态完全合理。但听觉是能耗第二高的感觉，也说明声音对在现实世界、尤其是人类环境中正常活动至关重要。
在进化的严格权衡中，能量不会无故浪费。听觉占据15%至20%的感觉处理资源，是自然选择帮助人类在地球上生存与繁衍的结果。这也给机器人研究者一个明确信号：如果生物智能需要如此多的听觉带宽才能在物理世界中行动和生存，机器智能同样不能缺少它。
只讨论感知系统消耗多少能量，会忽略更重要的问题：它究竟承担什么任务？听觉的作用与视觉根本不同，它帮助我们理解意图、感知视野之外的环境，并完成最重要的沟通。
通过声音，人们可以判断物体在接近还是远离、说话者平静还是敌对，以及环境安全还是不可预测。听觉是一层持续工作的感知能力，以关键方式补充视觉。
更重要的是，听觉支撑着人类交流。语音并非简单的词语序列，而是包含时机、节奏、细微语调和情绪信号的复杂交换，具有动态性和很强的鲁棒性。
即使在嘈杂、混响和混乱的环境中，人类仍能可靠交流，并以现有系统难以匹敌的韧性从声音中提取含义。对机器人而言，这种能力不可或缺。
机器人音频能力面临更高要求
人类拥有共同的生理基础和根深蒂固的社会模式，因此能直观理解彼此所处的沟通系统，并补偿交流中的不足。机器人没有这种优势，尤其在早期采用阶段，人们会对它们提出不同甚至更高的要求。
动作略显笨拙的机器人仍可能被视为可用；但如果机器人听错、回应不同步，或无法适应现实声学环境，很快就会让人感到沮丧甚至不安。
这不仅是技术性能问题，更会造成信任瓦解。因此在机器人采用过程中，音频的重要性格外突出。人们不仅依据机器人能做什么评价它，也会依据与它互动时的感受，而这种互动在本质上高度依赖听觉。
这一问题尚未解决，并非因为行业没有意识到它，而是缺乏基础设施。高质量音频数据难以获取，更难规模化；与视觉数据不同，音频无法在不丢失关键上下文的情况下简单抓取并批量标注。
空间关系、环境声学和设备特性都会显著影响声音感知，在真实环境中采集并标注这些信息复杂且成本高昂。
仿真提供了一条可行路径，但也带来新的挑战。声音遵循波动物理规律，对几何结构、材料和环境条件极为敏感，场景中的微小变化就可能造成明显的感知差异，因此精确仿真计算量大且难以近似。
许多现有系统因而依赖简化或非物理模型，限制了泛化能力。这是音频在合成训练数据发展上落后于其他模态的重要原因。
Treble推动声学仿真训练范式转变
不过，情况正在改变。Treble参与推动以物理准确的声音仿真作为音频系统训练基础。相比近似模型或规模有限的录音数据集，现在可以生成反映真实条件的大规模高保真声学数据，其中包括环境声学、设备特性和空间感知信息。
这一直是Treble的核心方向。公司构建的平台可生成物理准确、仿真到现实差距很小的声学数据，并已被多家全球领先科技公司用于开发和训练音频系统。过去的瓶颈正在转化为AI技术栈中可规模化的组成部分。
对机器人行业而言，这是一个转折点。此前行业优先发展视觉与运动是合理的，因为这些领域最容易取得进展；但随着相关能力成熟，它们将不再构成显著差异。
机器人的视觉感知和物理能力将逐渐趋同，届时限制因素也会转移：关键不再只是机器人能否感知世界，而是能否以符合人类预期的方式与世界互动，而这种互动将高度依赖声音。
我认为，最终成功的机器人不仅要看得清、动得好，还要能够自然、直观地与人交流。它们需要在真实声学环境中运行，可靠理解语音，以合适的时机和语气回应，并以人类能够本能理解的方式表达意图。
Treble正在寻找认同这一趋势、愿意共同推进音频能力的机器人和物理AI团队。行业有机会打造一类新系统：它们不仅能在人类环境中工作，还能真正融入其中。
能工作的机器人与被人们接受的机器人之间存在明显差别，而差别很大程度上取决于它如何沟通；从根本上说，这是一项听觉能力。