无人驾驶的世界已经这么疯狂了吗？

无人车除了在真实道路上接受测试，如今还可以进入 AI 构建的虚拟城市，一天完成 10 万公里的虚拟路测。

在这里，前车可能突然刹车，旁边车辆随时准备并线，行人也可能从遮挡处出现。无人车观察周围情况，判断下一步怎么走。它一旦减速、加速或变道，周围车辆和行人也会随之改变行动。

11 月 3 日，百度 Apollo 首次向外界披露具身世界模型 Apollo World，它能够让无人车在虚拟环境中与 AI 智能体驱动的交通参与者持续互动，反复经历不同的驾驶场景。

行业人士分析，Apollo World 每日虚拟路测里程可达十万公里。换算下来，一天的虚拟测试量，相当于一辆配备安全员的真实路测车连续测试约三年。

这相当于给无人车安排了一位 AI 教练，也配了一位随时改变考题的考官。

Apollo World 负责搭建虚拟城市，不断切换道路环境、调整车流和交通参与者的行为，为萝卜快跑的端到端驾驶系统设计不同的驾驶任务。无人车在其中一次次出发，面对变化的路况作出判断、采取行动，再根据环境反馈调整下一步策略。无论是日常通行还是突发状况，都可以被反复拿来练习和检验。

当 AI 开始在自己创造的世界里教 AI 开车，无人驾驶获取驾驶经验的方式也有了新的可能。

无人驾驶技术的「不可能三角」

需要 AI 破局

开车这件事，看起来有明确的道路、车道和交通规则。但对一辆没有安全员的无人车来说，要实现规模化运营，首先要过安全这一关。此外，无人车还要足够智能，既能理解周围交通参与者的意图，也能根据不断变化的路况做出合理判断。随着运营车队扩大、进入更多城市，系统还需要面对更加多样的道路环境和交通状况。

面对安全、智能与规模这样的「不可能三角」，真实路测的投入和速度很难满足。另外，长尾场景还有一个天然难题：发生频率低。一辆车跑过几十万公里，可能遇到大量重复的普通路况，却未必碰上研发人员想测的特殊交互。单纯增加行驶里程，并不意味着智能水平能够同步提升。

百度智能驾驶事业群组 (IDG) 首席架构师、IDG 技术委员会主席王亮博士

传统仿真可以帮助无人驾驶企业解决了一部分问题。比如回放式仿真将真实道路场景记录下来，供不同版本的驾驶系统反复测试。但场景始终按照历史轨迹运行，无人车即使改变动作，周围车辆也不会随之响应。另一些方案通过预设规则驱动其他车辆，却难以覆盖开放道路中复杂多变的交通交互。

这正是「AI 创造驾驶经验」的用武之地。

世界模型让 AI 智能体参与其中，根据无人车的每一次动作实时调整交通环境。一个真实路口，就能被推演出许多不同的交通局面，无人车也由此获得反复尝试不同驾驶策略的机会。

要让这样的虚拟驾驶成立，首先得弄清楚，无人驾驶需要的究竟是什么样的世界模型。近一两年，从视频生成、三维场景构建，到环境模拟和智能体交互，不同方向的技术都被冠以世界模型之名。但画面逼真不代表真正理解世界，能够还原场景也不代表能够推演交互后的变化。

面对越来越宽泛的概念，百度选择从无人驾驶的实际需求出发，明确世界模型需要达到哪些要求，再以此指导系统设计和技术验证。这也是百度提出「2 +3」判断标准的出发点：以因果性、交互性作为两项基石门槛，再以物理准确性、持久性和实时性作为三项增益属性，给无人驾驶世界模型划定一套更明确的能力标准。

刹车能推演后果，加速能改变周围车辆行为，考验因果性与交互性；雨天制动距离更长、连续路口状态保持连贯，考验物理准确性与持久性；所有变化还要跟上驾驶节奏，满足实时性。

五项标准最终指向一个挑战：当无人车驶入这座虚拟城市，整个世界能否像真实道路一样运转？ 百度 Apollo World，正是围绕这一问题展开的一次探索。

AI 造了一座城

无人车进去练车

当一辆无人车驶进 Apollo World 的世界，一场特殊的「教学」就此开始：

造一座会自行运转的虚拟城市

Apollo World 要做的第一件事， 不单单把城市「画出来」，更要让它自己运转起来。

它将车辆、行人等建模为具备感知和决策能力的 AI 智能体，拥有各自的行为逻辑和目标，而不是按照预设脚本行动的背景角色。

效果很直观，换一个驾驶动作，整个交通局面都可能跟着改变。无人车选择驶上高架，旁边车辆可以汇入；而如果无人车选择走地面道路，旁边车辆则可能停下来等待。

同一段路，仅仅因为无人车选择不同，后续交通局面就可能走向不同的结果。这背后是 Apollo World 对自车和周围交通参与者的联合建模：

模型接收无人车的方向盘、油门、制动等控制信号以及当前场景信息，推演下一步动作，并据此生成新的交通状态，作为下一轮交互的起点。

更重要的是，这套环境不是固定不变的。工程师可以继续往上加难度：把车流调得更密一点，把周围车辆设得更激进一点，或者反过来，让它们更保守、更遵守规则。于是，同一条路线、同一个起点，也能演化出完全不同的交通压力。

可以说，在这座虚拟城市里，无人车面对的是一场更接近真实道路的持续博弈。

让萝卜快跑开进虚拟世界

如果说 Apollo World 先做的是把一座虚拟城市「跑起来」，接下来要让萝卜快跑的端到端驾驶系统「开进去」。

真实无人驾驶系统依靠摄像头和激光雷达感知道路。Apollo World 也必须给它提供一套能直接使用的「感官系统」：相机画面和激光雷达点云。

有了这套观测之后，驾驶系统就可以像在真实道路上一样开始工作。它读取相机画面和激光雷达数据，判断周围路况，然后输出加速、制动、转向等驾驶动作。这些动作再反过来输入 Apollo World， 推动虚拟环境继续向前演化：道路状态更新，周围车辆和行人的行为也跟着变，新的相机画面和点云随之生成，再交还给驾驶系统。

这个世界甚至还能随时「换皮」。

同一段道路可以一键切换成完全不同的外部环境：热带雨林、沙漠、极光道路、海岸、隧道，甚至雪林。道路本身保持相对稳定，但周围环境、光照条件、天气氛围乃至感知信号都会跟着变化。

于是，对无人车来说，它可以在相似的道路结构里，反复经历截然不同的驾驶条件。原本只能在一种环境里测试的路线，转眼就变成了很多种难度不同的考场。价值显而易见：它让驾驶系统获得了更多不同条件下的驾驶经验。

为了把这个世界稳定地生成出来，Apollo World 在底层采用了因果自回归的多模态生成模型。简单来说，它会按照时间顺序，一帧一帧地把未来往前推。上一刻的世界状态，加上当前输入的驾驶动作，决定下一刻会发生什么。相较于将未来直接「拼」出来，它是在持续演化一个有因有果的过程。

说得更直白一点，Apollo World 可以让不同传感器共同「看见」同一个未来。只有做到这一点，萝卜快跑才不只是在虚拟世界里「看一看」。

从一个路口，开完一整趟 Robotaxi 行程

能在一个路口应对突发情况，还不算真正学会开车。

对一辆 Robotaxi 来说，真正的任务是把乘客从 A 点安全送到 B 点。中间可能经过几十个路口，遇到不同的车辆和行人，还要持续应对各种交通变化。一次变道做得漂亮，不代表接下来都能开得稳。

世界模型必须记住之前发生了什么，让交通参与者和道路状态在长时间推演中保持连贯。这正是世界模型「持久性」的重要意义，它需要生成时间和空间上连贯的未来状态，让周围车辆的状态能够承接此前的动作，并继续影响后续场景。

现在，工程师可以给萝卜快跑安排一整趟 Robotaxi 任务：从虚拟城市中的任意起点出发，穿过不同道路和交通环境，完成接单、接乘客、送达目的地的全过程。无人车由此可以在一趟完整行程中，接受连续的驾驶训练和检验。

更有意思的是，多辆虚拟车辆还可以同时执行不同的出行任务，组成一支虚拟车队，并行开展路测。

这套能力也不局限于某一座城市或某一类道路。测试路线还延伸到不同城市和区域，包括海滨道路、机场附近、林荫大道、学校周边等不同道路环境，让无人车提前在不同区域接受规模化测试。

Waymo 与百度

虚拟世界的两种造法

Apollo World 构建的虚拟世界是什么样，想必大家有了直观感受。但放眼整个世界模型行业，各家团队搭建虚拟世界的方向与方法却各有不同。

有的擅长生成画面，以 OpenAI 关停的 Sora 为代表；有的具备交互式模拟能力，以 Google DeepMind 的 Genie 3 为代表。

还有的专注于构建三维空间，以李飞飞 World Labs 的首款产品 Marble 为代表，它能够生成高保真、酷炫的三维空间，也可以在其中自由探索。而 Apollo World 在能力实现上更进一步，让虚拟世界中的车辆、行人等主体具备自主行动能力，并能够实时交互与响应。

李飞飞 Marble 展示

同样聚焦无人驾驶的垂直世界模型，Waymo World Model 也是此次 Apollo World 的重要参照。

但两家公司选择了不同的技术切入点。

Waymo World Model 基于 Google DeepMind 的 Genie 3 进行无人驾驶领域适配，在通用世界模型的生成能力之上，针对 Waymo Driver 的传感器和驾驶任务进行优化。

它最吸引眼球的地方，是把现实道路上很难遇到的场景搬进虚拟世界。比如车辆遭遇龙卷风、道路被洪水淹没，甚至大象、狮子等动物突然出现在道路上。这些情况在日常运营中很难遇到，更不可能为了测试专门制造。

Waymo 还提供了多种场景控制方式。工程师可以通过自然语言 Prompt 改变天气、时间和周围环境，也可以调整道路布局、交通信号，以及其他道路参与者的位置和行为。

不过，从公开展示的资料来看，Waymo 的场景交互仍较多依赖工程师设定，并且尚未呈现完整订单行程的推演。

左为 Waymo World Model，右为 Apollo World

如果说 Waymo 擅长给无人车制造新的难题，百度 Apollo World 则把力气花在了另一头：让虚拟世界里的交通参与者自己做判断，不再只是按照工程师预设的轨迹移动。

相较于 Waymo，Apollo World 的另一大优势则是让无人车接受覆盖完整任务流程的「上岗考试」。

与此同时，虚拟城市要足够真实，不能只靠模型凭空生成，还得有真实道路提供参照。萝卜快跑已落地全球 28 座城市，累计完成超过 2300 万次出行服务，无人驾驶总里程突破 3.5 亿公里，其中全无人驾驶里程超过 2.4 亿公里。这些真实道路上的驾驶经历，为 Apollo World 积累了丰富的场景素材。

于是，真实道路上的驾驶经历不断进入虚拟世界，变成可以反复推演的考题；虚拟测试发现的问题，又会反馈到车端，推动驾驶系统迭代。改进后的系统继续投入真实运营，再带回新的数据。真实道路与虚拟世界就这样不断交替「喂养」，形成一个持续运转的数据飞轮。

对于正在走向规模化运营的 Robotaxi 来说，Apollo World 的探索更具有现实意义：它让世界模型进一步进入无人驾驶的实际研发链条，并将虚拟测试的价值转化为驾驶系统的持续进步。

无人驾驶的下一场较量

在虚拟世界

如果把视角从 Apollo World 拉回整个无人驾驶行业，世界模型带来的变化可能首先体现在研发过程中。

过去，驾驶系统遇到问题时，研发人员往往需要从真实道路记录中寻找线索，再尝试复现问题、设计实验、验证改进效果。对于一些低频、高风险场景，等问题再次出现可能要等上很长时间。

世界模型让这件事有了新解法：研发人员可以主动创造测试条件，围绕同一个问题开展更多对照实验。原本需要等待真实道路提供的驾驶经验，现在有机会在虚拟世界中主动创造和积累。

无人驾驶的安全验证方式也将随之改变。大量重复性测试和高风险场景验证可以提前放到虚拟世界中完成，真实道路继续承担最终的检验任务。

这些变化还可能影响无人驾驶的商业化节奏。无人车进入新城市，如果能够提前构建当地的虚拟环境，就可以让驾驶系统先在其中熟悉道路、经历复杂交互，并针对暴露出的问题进行迭代。等到真正进入运营阶段，企业面对的就不再是一张完全陌生的考卷，并有望降低前期测试成本和部署风险。

把视野放得更远，这套思路还可以延伸到无人驾驶之外更广泛的物理 AI 领域，例如机器人。它们面临着相似的挑战：如何让智能体在真正承担复杂任务之前，获得更多可控、可重复的训练和验证机会，并将积累的经验带回真实世界。

这也意味着，世界模型的产业价值可能远远超出场景生成。随着模型逐步具备更强的交互、预测和物理模拟能力，它有机会成为物理 AI 研发的一层基础设施，把真实世界的数据、虚拟环境中的训练与测试，以及最终的现实验证连接起来。

© THE

来源：机器之心