像素告诉我们世界如何呈现,物理代码解释世界为何如此运行。
生成一个世界,不等于理解一个世界。
今天的 AI 已经可以生成逼真的视频,也可以用代码搭建复杂的 3D 场景。但无论是像素还是场景,都只是世界的 “表象”。真正的物理智能,需要进一步回答:这个世界由什么构成、处于什么状态、又遵循什么规律?
换句话说,AI 的下一步,不只是预测世界会 “看起来怎样”,而是恢复为什么世界会这样运行 —— 从描述现象,走向发现机制。
近日,MirroS 提出 Code-as-World:让 AI 将观测到的现实主动重建为可执行、可验证、可推理的代码世界,并以此作为理解物理世界的表征。在这套框架下,对象、状态、物理参数与演化规律被显式写入代码,一个关于世界的解释由此不再只是语言描述或隐式特征,而成为一个可以查询、执行、干预和验证的世界假设。
如果说从观测直接预测未来,回答的是:接下来会看到什么?
那么 Code-as-World 进一步追问:什么样的世界,能够产生这些观测,并在干预之后继续演化?
Code-as-World 将物理组成、动态演化与视觉外观显式写入可执行代码,并让智能体围绕观测不断提出、运行、检验和修正世界假设。这些经过验证的可执行世界可以转化为可规模化的物理监督,推动视觉语言模型学习物理推理。
论文:
全文 Blog :

01|生成得像,不等于理解得对
人类理解物理世界,并不是记住每一次具体观测。
面对不同大小的球、不同角度的斜坡和不同材质的地面,人类仍然会使用物体、质量、速度、重力、摩擦等概念进行思考。真正能够迁移的知识,存在于这些紧凑的抽象之中,而不是某一段视频的全部像素。
这也意味着,复现观测,并不等于形成了对世界的理解。只要生成出的未来在视觉上足够合理,像素预测本身并不要求模型显式回答:世界中存在什么、状态如何变化,又是什么机制支配着这些变化。
问题因此进一步落到:什么样的表征,才能真正支撑对物理世界的理解与推理?
现有的几类世界表征,各自保留了世界的一部分信息。
像素保留丰富细节,却把原因隐藏在结果之中;3D 重建恢复几何、深度和视角,却不自动解释物体为何下落、碰撞或停止;自然语言能够紧凑地表达实体、动作和关系,却难以精确承载连续轨迹、接触关系与物理参数。
Code-as-World 希望找到一个新的结合点:
像语言一样具有语义,像 3D 一样具有结构,又像视频一样能够表达连续演化。

代码恰好提供了这样一种形式。对象、状态、参数与规则可以被显式写出;世界不仅能够被描述,还能够被执行、干预和检验。Code-as-World 因而不追求每一个像素的完全复制,而是优先保持世界组成、约束与演化机制的一致。
真正重要的,不再只是把世界复现得更像,而是找到一种能够显式承载世界结构与机制的表征。
02|不是更真实的像素,而是一套可执行世界
如果要用代码来抽象一个物理世界,究竟需要写下什么?
Code-as-World 将一个世界拆解为三个相互关联的方面:
Composition:世界中有什么,描述物体、几何结构与质量、摩擦、重力等基本物理属性。
Evolution:世界如何变化,描述物体的状态、运动、交互与关键事件,以及世界随时间的演化过程。
Appearance:世界如何被观测,描述相机、背景、材质、光照等视觉呈现条件。
三者结合起来,Code-as-World 表达的就不再是一张场景图,也不只是一段轨迹,而是一个可以真正运行起来的世界。
不同组件还可以被独立查看和修改:改变一个物体的速度、质量、运动方向或相机位置,其他结构仍然可以保持不变,世界随后重新执行。这也让 “世界编辑” 从像素层面的重新生成,变成了对底层机制的直接干预。
代码在这里不是最终答案。
它更像一个能够被运行和证伪的世界假设。
03|让 Agent 在模拟与验证中发现世界
从一段视频或文字中恢复底层物理世界,本质上是一个复杂的逆问题。
因此,Code-as-World 没有把世界表征视为一次性的代码生成任务,而是将其构造为一个 agentic discovery loop:让 Agent 在不断提出假设、模拟与验证的过程中,逐步逼近能够解释观测的世界。
这一过程借鉴了科学发现中的溯因推理:从不完整、带噪声的证据出发,不断寻找能够最好解释观测、同时保持简洁的机制假设。
首先,不同形式的输入会被转换为相应的证据。
对于文本,系统提取实体、空间关系、物理事件和预期结果;对于真实视频,则进一步提取深度、实例分割、物体轨迹与三维几何,共同约束可执行世界表征。
随后,Agent 进入五个连续阶段:
Propose|提出世界假设:根据当前证据和反馈,生成或修改世界表征。
Instantiate|实例化:将抽象世界假设编译为可执行程序。
Execute|执行:运行模拟,得到完整的世界状态轨迹。
R
来源:机器之心