GPT-6 Astra:3D、具身智能及其他
语言模型是通往通用具身智能的必由之路吗?这是一条捷径,还是歧途?
本文所说的“语言模型”不限于处理文本的模型,也包括当前多模态语言模型这一更广泛的范式。下文所讨论的主要是通用具身智能,即执行多种任务并跨环境泛化的能力。
这个问题可以分为两个层面:科学上,智能如何产生(intelligence);工程上,我们如何构建具有这些能力的系统(artificial)。
科学层面上,我相信智能在与环境的感知—行动循环中产生:智能体通过感知和行动,根据反馈调整行为、积累经验。这已经是对智能足够本质的表述。这一过程并不依赖语言。例如,自然界中的许多动物不具备语言能力,依然是出色的具身智能体。
然而不可忽视的是,在当前的 AI 实践中,若要获得具备一定通用性的智能水平,通常需要先有一个经过大规模预训练的基础模型。互联网数据(以语言为主要载体)的智能密度和体量足够大,而 next-token prediction 等自监督方法,提供了简单且 scalable 的学习途径。因此,在互联网数据上进行预训练,是当前在工程上实现一定通用性的一条高效路径。
预训练提供知识和常识,模型则通过交互进一步发展推理和决策能力。二者结合,构成了当前 AI 发展的一种重要范式。GPT-6 Astra 的表现也提供了一个观察这一范式的例子 [1]。从目前有限的公开信息来看,编程和计算机操作中的强化学习后训练,可能是其能力的重要来源 [2]。这套范式的下一步也日渐清晰:随着更多真实世界的交互数据被纳入训练,它将进一步走向物理世界。
然而,这种基于语言的预训练—后训练范式,仅仅是一种工程选择吗?为什么自然界中的具身智能体不需要语言预训练?
本质上,每次交互都有成本(时间和能量),单个智能体能亲历的经验因而在数量和多样性上都有限。如果只能从自身经验中学习,每个个体就要重复其他个体已经完成的探索。因此,要在有限的交互预算下发展出足够的通用性,跨个体的积累与复用就尤为重要 [3]。在这个意义上,至少有以下两种重要的方式:
进化使有利于适应环境的特征跨代积累,让后代无需从零学习就具备某些能力,或更容易学会某些行为 [4]。
文化使个体习得的知识和技能,通过示范、语言、文字等方式传给其他个体,使它们能够在已有成果上继续学习 [5]。
从这个意义上说,自然界的生物智能背后,是无数个体与环境交互的成果通过进化代代积累。人类还发展出语言、文字,以至互联网,进一步提高了经验传递和保存的效率 [6]

那么,语言模型是具身智能的必由之路吗?
语言未必是具身智能的必要计算形式,但它能让智能体利用远超自身所能经历的体验。在这个意义上,语言预训练或许并不只是一种工程选择。
而当大量资源持续投入这条路线,它很可能率先走通,留给其他路径的探索空间与时间窗口随之收窄。即使语言模型不是理论上的必由之路,它也可能成为实践中无法回避的选择。
在语言预训练得到的智能基座上,我依然相信,还需要在线的、具身的环境交互(不管是在虚拟仿真的沙盒中,还是在现实世界),才能达到真正的通用具身智能。在此过程中,现实世界的交互成本限制了个体积累经验的效率,也使跨个体的智能积累显得尤为重要。
在这条路径上,有着越来越多的问题:
触觉、力觉和连续动作如何接入语言模型?基础模型的决策如何与高频的底层控制协同?
能否针对性地提取出语言模型中和具身相关的能力(如空间感知与决策等),在尽可能保留通用性的前提下缩小模型尺寸,降低交互的代价?
如何衡量交互对具身智能体能力的增益?自身交互与跨个体积累对智能的贡献可以比较吗?哪些经验必须亲身获得,哪些可以从其他个体继承?
跨个体的交互经验积累,会复用人类的语言文化机制,发展某种 AI 原生的语言,还是通过某种进化机制实现?
机器人能否通过具身交互,发现人类尚未知晓的知识与技能,反过来拓展我们对物理世界的认识?在数字世界,AI 已经作出了可供人类利用并进一步发展的发现 [7]。机器人能否通过与物理世界的交互,拓展我们的认识与能力?人类知识是机器人的起点,却未必是它们所能发现的边界。
语言模型已经可以通过语言符号化地表征感受、情感等信息。如果具身智能体能将这些表征 ground 到自身的身体体验,我们将如何应对可能的伦理冲击?
通用具身智能或将(很快)实现。在我看来,回答这些问题将是我们这一代研究者的挑战、机遇和责任。

后记:上个周末,在北京雁栖湖的秋色与湖光塔影间,很高兴参加了为期三天的 Mini3DV 研讨。会上讨论最热烈的话题之一,是大语言模型与具身智能的发展路线,包括“原生派”和“继承派”的讨论。这篇短文是对自己一些思考的梳理,也得益于许多老师的启发,在此一并致谢。文中观点仅代表作者本人。
References
OpenAI. (2026). GPT-6 Astra: A new generation of intelligence.
Zhu, W. (2026). GPT-6 Astra: 3D, Embodied AI, and Beyond.
Cook, J., Lu, C., Hughes, E., Leibo, J. Z., & Foerster, J. (2024). Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning. Advances in Neural Information Processing Systems, 37.
Zador, A. M. (2019). A critique of pure learning and what artificial neural networks can learn from animal brains. Nature Communications, 10, 3770.
Boyd, R., Richerson, P. J., & Henrich, J. (2011). The cultural niche: Why social learning is essential for human adaptation. PNAS, 108 (Supplement 2), 10918–10925.
Tomasello, M. (1999). The Cultural Origins of Human Cognition. Harvard University Press.
Novikov, A., et al. (2025). AlphaEvolve: A coding agent for scientific and algorithmic discovery. Google DeepMind technical report, arXiv:2506.13131.
来源:human five