
Astra 的出现,正在重新唤醒很多人对基模的梦想。
2022—2023 年,大模型浪潮刚刚开始时,并不是所有人都有机会参与基模的核心研发。有人选择留在大模型领域,有人则转向具身智能,希望在一个尚未被充分探索的新方向上寻找机会。那时候,具身智能承载了很多人对通用智能的另一种想象。
但今天,情况正在发生变化。Astra 展现出的能力,让越来越多人重新审视大模型的能力边界。过去被认为需要在具身智能领域长期攻克的问题,开始有可能被更强的基础模型吸收。曾经因为错过大模型浪潮而转向具身智能的人,也开始重新思考自己与基模的距离。
我们究竟应该把精力投入到某一种具体的智能形态,还是继续追问通用智能本身如何产生?当大模型重新展现出通向 AGI 的可能性,那些曾经被放到次要位置的问题又回到了视野中央:模型架构、预训练数据、Scaling Laws、训练基础设施,以及智能能力究竟如何从规模化训练中涌现。

某种程度上,我们又开始对基模产生了最初的向往。
这次先来看看 Marin。一个 535B-A23B 的 MoE 模型背后,他们如何理解 Scaling,如何组织数据与计算,又为什么执着于把整个预训练过程开放出来。
以下是原文编译
Marin 为什么重要
这张截图是我大约五分钟前从 Hero Run 中截取的。如果你通过社交媒体了解过marins,就会知道这是我们最引以为傲的事情。加上尽可能多的限定条件,我认为这是有史以来规模最大的实时直播预训练任务。
当训练出现异常并进行修正时,你会看到曲线上出现不同颜色的线。平滑的曲线代表我们的预测,锯齿状曲线则代表我们进行的小幅调整。这些调整主要是为了提升速度而修改 Kernel,也包括针对不同 Optimizer 动态异常所做的一些温和修正。
幸运的是,所有这些调整都没有引发 Loss Spike。整个训练过程相当平稳。
为什么要训练一个非常大的模型?
首先,AI 的重要性不言而喻。你可能不认为模型已经像一些公司宣称的那样能够改变世界,但它们确实在持续进步,也变得越来越有用。
问题在于,随着模型能力增强、商业价值不断提高,我们对模型内部运作机制的了解反而越来越少。
我刚开始读博士时,我们实际上对 Frontier AI 的工作方式了解很多。实验室会发表大量研究成果,我可以提出自己的想法、研究相关问题,也可以训练一些小规模模型进行实验,而这些研究与 Frontier 模型的发展具有直接关联。
随着研究逐渐封闭,我们越来越难以了解 Frontier 领域正在发生什么。学术界也无法简单地通过扩大实验规模来追赶,因为这些模型的成本已经变得极其高昂。企业投入呈指数级增长的资本,却只能获得线性的性能收益。这给学术研究带来了很大困难。
这里有一个 OpenAI 曾经逐渐淡化的理念。2022 年,OpenAI 的招聘页面上有一项原则叫作“unpretentious”。我认为这是 OpenAI 成功的关键之一:他们愿意做那些看起来很无聊的工作,而不是一味追逐最聪明、最巧妙的想法。
OpenAI 最初开展大规模训练时,很多学者认为他们只是在做工程工作,无非是把现有方法放大,并没有提出什么新东西。
这种工作方式与学术界的激励机制并不匹配。学术界很少奖励那些极其枯燥的工作,即使这些工作最终带来了新的能力。我们更关注新颖性和发现,而不是单纯地扩大规模。
这是我对机器学习科学研究流程的一个高度简化版本。
通常,我们首先拿到一个当前最先进的模型,研究它,并找出其中存在的问题。我经常开玩笑说,我的工作就是认为 AI 很糟糕,因为只有找到可以解决的问题,我才有工作可做。
接下来是整个流程中最关键的中间环节:我们需要解释为什么这些问题会发生。解释可以来自理论,也可以是有依据的推测。只有真正理解问题的成因之后,我们才应该提出解决方案。
随后,我们进入循环:发现新问题、解释问题、提出解决方案,再不断重复这一过程。
但现代 AI 研究体系正在破坏这一流程。
如何真正研究一个只能通过 API 调用的模型?你可以观察它的输出,发现它有哪些问题,但几乎无法解释这些问题为什么发生。因此,你只能在黑暗中提出猜测,尝试各种可能的原因。
这些想法可能有用,也可能与 Frontier 模型实际发生的问题毫无关系。我认为,过去几年学术界的很多研究都不得不采用这种方式。
需要特别指出的是,我实际上并不认为 Open Weights 能够解决这个中间环节的问题。
你拿到了模型权重,但通常仍然不知道训练数据是什么、模型是如何得到这些权重的、训练过程中哪些实验失败了,以及团队究竟优先考虑了什么问题。
模型内部信息确实能让你开展更多研究,但传统科学解释所需要的大量信息依然缺失。
因此,我们希望让传统科学研究方法重新成为可能。
我们不仅仅是发布模型权重,还希望提供可复现的数据,让研究者能够在与我们相同的数据上开展实验。
我们希望预先注册实验,这意味着我们必须公开自己做过哪些愚蠢的事情(而且我们确实做过很多)。
我们也希望尽可能透明地展示决策过程。这其中的每个环节都存在有趣的研究问题,包括决策背后的社会技术问题、我们不断发现的负面实验结果,以及只有依靠数据才能回答的问题。
我个人的理解是,这个领域一直缺少一群愿意去做“蠢事”的人:公开地采用最直接、最简单的方法,然后把它扩展到足够大的规模。
有时,人们会合理地批评我们做法愚蠢,或者认为这些事情早就有人做过。这恰恰是我们的目的。
这样做能够为学术界创造值得深入研究的问题,让研究者提出更聪明的方法,而我们也可以毫不犹豫地将这些方法整合进下一轮训练,从而在未来构建更好的模型。
所以,当我今天谈论 Scaling 时,我想表达的就是这个理念。
我们扮演的是一头向前冲锋的公牛,负责快速推进并产生研究成果,让学术界能够围绕这些成果开展有意义的研究。我们并不试图在整个流程的每一个环节都提出最独特的想法。
Marin 的发展历程
Marin 始于 2024 年,当时是 Stanford 的一个项目。直到今天,很多人仍然认为它属于 Stanford 的研究生态。
项目由 David Hall 和 Percy Liang 发起,另外还有一群或多或少有些用处的研究生参与其中,我就是其中之一。当时,我们通过 TPU Research Cloud 免费获得了全部计算资源,因为我们是一个不错的学术项目。
David 设计了一套非常巧妙的开发流程,叫作 Tootsie Method。
我之前并不知道,Tootsie Rolls 的生产方式是每天将上一批产品的一小部分混入下一批产品中。
由于资源有限,而且我们对计算资源的需求非常大,因此从不浪费任何一个 FLOP。这意味着我们从来不会从头开始训练模型,而是不断延续已有的训练过程,让模型持续训练下去。
这些看起来非常整齐的训练阶段,并不是基于什么深刻的深度学习科学原理设计的,而是为了让模型持续变好,同时避免浪费此前已经完成的训练步骤。
Tootsie 是一个比较好听的名字。实际上,很多人更直接地把这种做法称为 YOLOing a model。

Marin 8B 的训练阶段
通过这种方式,我们训练出了一个相当不错的 8B 模型。随后,我们大胆地将规模扩大到 32B,基本沿用了相同的方法。
32B 训练过程出现了大量问题。我们遇到了新的 Loss Spike,尝试更换 Optimizer 和模型架构来解决问题,数据混合比例也一直在变化。我们甚至在训练过程中使用了测试集。
问题实在太多,David 作为唯一的全职工程师已经无法独自解决。
理论上,我们还有一群或多或少有些用处的研究生(我当然也包括自己在内!),但项目确实需要更多全职人员来承担有实际意义的工作。
因此,在 2025 年底到 2026 年初,Marin 正式成为 Open Athena 的一部分。Open Athena 是一个帮助科学家接触 AI Frontier 的非营利组织。
加入 Open Athena 后,我们获得了更多团队成员和优秀的管理人员,开始建立真正的规划和路线图,并着手研究如何将模型 Scaling 到具有实际意义的 Frontier 规模。
Scaling Laws 与训练配方:Delphi
这里有一个思想实验。
假设你有一年的时间,以及大约 2,000 张加速卡。你需要回答很多问题:模型应该有多大、应该训练多少 token、采用什么架构,以及应该使用什么训练数据。
麻烦的是,你现在可能还没有这些加速卡。它们要过一段时间才会到位,而你需要在真正获得这些资源之前,尽可能多地回答上述问题。
应该怎么做?
我是研究 Scaling Laws 的人。在学术界,Scaling Laws 经常被一种消极的方式理解:大模型永远会比我们更强,因此我们不如放弃。
但我认为,Scaling Laws 恰恰是一套用于回答上述问题的工具。即使没有大规模计算资源,我们也可以对大规模研究中的关键问题做出有意义的判断。
你需要一套能够编码不同规模下训练过程的 Recipe,也就是训练配方。
我们之前训练 8B 和 32B 时,并没有这样的机制。我们主要依靠直觉和一些经验上的判断,为特定规模的模型选择合适的超参数。
但如果要进行 Scaling,就必须提前明确训练策略:随着训练数据增加、模型规模扩大,每一项决策应该如何变化。
代码是记录这套 Recipe 的一种非常好的方式。
有些人将其称为 Hyperparameter Transfer,我更愿意称之为 Recipe。它是一个函数,输入模型规模和 token 数量,通过一系列规则和小规模实验,决定大规模训练中的各项参数与策略。
真正重要的是 Recipe 如何随着规模变化,而不是某一个具体模型最终表现如何。
Delphi:使用同一套 Recipe 训练的一组模型
这是一组使用同一套 Recipe 训练的模型。它采用的是今年年初使用的早期方案,名为 Delphi。
左侧是 isoFLOP 图。每条曲线代表相同的计算预算,展示如何在数据量和模型规模之间分配计算资源,从而确定给定预算下最优的模型规模和 token 数量。
右侧则是实际训练的模型,它们分别对应不同的计算最优 FLOP 规模。
在 Log-Log 坐标系下,这些结果看起来非常接近一条直线,因此我们可以将其近似视为线性关系。
通过某种经验上的规律,只要 Recipe 足够好,我们就可以利用小规模实验,相当准确地预测一个大得多的模型最终能够达到什么水平。
这就是 Scaling Laws。
我们并没有发明 Scaling Laws。真正重要的是,在不断迭代 Recipe 的过程中,我不需要反复训练那些大规模模型。
我只需要运行小规模实验,进行预测,并在合理范围内相信预测结果是准确的。这样,我们就可以在不进行大规模训练的情况下,完成绝大部分迭代工作。
当然,要真正相信这种预测,必须有人开展大规模训练来验证预测结果。
这是我们在整个生态中承担的一个角色。对于我们训练的所有模型,都会开展这样的验证。
这是我们在 Hero Run 之前执行的 Scaling Ladder。它还包括反事实实验:例如,如果我们计划在训练中途更换数据混合比例,就会重新运行整个 Scaling Ladder,并更新预测结果。
在我们发布的每张图表中,都会同时展示预测 Loss 和实际 Loss。
这种做法能够逐渐建立人们对 Scaling Laws 的信心,让更多研究者能够开展小规模实验,并相信这些实验可以合理地外推到更大的模型。
计算资源管理:Iris
如果你没有足够的资金购买一整个数据中心,那么第二个问题就是:你需要跨多个地区开展训练。
这张地图展示的是我们还没有获得任何 GPU 之前,通过 TPU Research Cloud 能够使用的所有计算资源所在地区。
TRC 的资源完全采用 Pre-emptible(可抢占式)机制,因此资源供应会不可预测地波动。我们的资源非常有限,所以希望尽可能利用所有可用算力。
研究生绝对不会自己搭建这样的系统,但专业的软件工程团队可以做到。
基础设施团队的 Russell Power 开发了一个非常出色的工具,叫作 Iris,它是一个统一的多区域集群管理系统。
它本身并不是什么特别复杂的技术,但对于开展大量小规模实验来说非常重要。
因此,在今年年初,我们已经具备了最基础的两项能力:一是知道如何运行小规模实验,二是能够利用分散在不同地区的计算资源,大规模开展这些实验。
如果有人告诉我们:“嘿,我这里有一些 GPU 可以使用。”我们就能立即接入这些资源,并将它们用于有意义的实验,即使这些 GPU 位于一个全新的地区、只能短时间使用,或者采用 Pre-emptible 方式提供。
MoE 与 Expert Parallelism
有了这些基础设施,我们就可以开始研究如何训练更好的模型。
此前我们训练的所有模型都是 Dense Model。现在回头看,这可能显得有些落后,而在今年年初,我们确实处于这种状态。
尽管 Mixture of Experts 已经成为当时非常热门的方向,但我们此前从未训练过 MoE 模型。
MoE 通过构建一个规模很大、但计算过程稀疏的模型,提高计算资源的使用效率。
很多论文都会介绍 MoE 的效率优势,但很少讨论实际的 Wall-clock Efficiency。论文通常关注理论上的 FLOP Efficiency。
从一开始就训练出一个具有高 Wall-clock Efficiency 的 MoE 模型,其实相当困难。因此,在项目早期,我们花费了大量时间,学习如何让 MoE 在理论计算效率和实际训练速度两个方面都具备优势。
这里展示的是我们使用 Larry Dial 设计的 MoE Recipe,与 Dense Delphi Baseline 进行的 Scaling Ladder 对比。
MoE 在理论计算效率上具有明显优势,而在达到相同 Loss 时,其实际训练速度也比 Dense Recipe 快约 3.6 倍。
这些都是开展大规模科学研究所需要的基础能力:能够运行大量小规模实验、充分利用各种计算资源,同时跟上最新的技术发展。
这也让我们迎来了获得 Jen-Hsun and Lori Huang Foundation 支持的好时机。该基金会非常慷慨地向我们提供了大量 GPU,我们也借此招聘了更多成员。
在这段时间里,团队增加了六名成员,其中一部分负责扩大预训练规模,另一部分则负责研究如何对我们希望发布的模型开展后训练。
获得计算资源合同之后,我们也有了明确的优化约束。
我们获得了大量计算资源,而 Hero Run 的主要硬件约束大约是 11 套 NVL72 系统。
与此同时,我们也希望尽快交付一些成果,向资助方证明我们正在朝着真正的大规模模型迈进。
尽管我相信 Scaling 曲线所展示的预测结果,但并不是所有人都相信这些预测,直到他们亲眼看到实际训练出来的那个点落在预测曲线上。
在固定硬件上训练一个大模型,核心问题是:如何让模型装进显存,并且保证训练速度不会慢得无法接受?
对于 Dense Model,以及此前训练的大多数 MoE 模型,我们使用的是 FSDP,即 Fully Sharded Data Parallel(完全分片数据并行)。
模型参数被分片存储在多张 GPU 上。在 Forward Pass 中,系统会先收集当前 Layer 所需的权重,完成计算后再重新分片。
这样,显存中任何时候都不需要保存完整模型的全部权重,而只需要处理当前 Layer 的权重,因此可以在相同硬件上容纳规模更大的模型。
这与 MoE 本身并没有直接关系,而是一种通用的模型分片原则。
大多数 MoE 训练系统采用的则是某种形式的 Expert Parallelism(专家并行)。
简单来说,就是将不同 Expert 分配到不同硬件上,每张 GPU 保存完整的 Expert,然后根据 Token 路由结果,将 Token 发送到对应的 Expert 上执行计算。
我们发现了一个很有意思的现象,它反映了不同技术生态之间的差异。
几乎所有优秀的 Expert Parallelism Kernel 都来自中国的开源实验室,但其中几乎没有能够在 NVL72 上表现良好的实现。NVL72 受到出口管制,因此不同团队实际上是在完全不同的硬件约束下进行优化。
我们基本尝试了所有开源 EP Kernel,但它们在 NVL72 上的速度都远远低于普通的 FSDP。
因此,团队成员自行开发了一套定制化的 EP 通信 Kernel,叫作 Fixed Pooled-Wave All-to-All。
这套 Kernel 在显存管理方面做了一些并不特别高效的设计,但整体速度仍然远远超过了我们尝试过的所有开源实现。
在整个 Hero Run 期间,Matt Wittmann 持续迭代优化这些 Kernel,EP Kernel 的速度也越来越快。
即使是我们自己从头开发的 EP 实现,也获得了非常明显的性能提升。它主要通过提高训练速度,使我们能够在相同硬件上训练更加稀疏、规模更大的模型,并达到更高的 FLOP 计算量。
又一次,我们通过一个新的 Kernel 实现了 Scaling 效率的提升。
支撑 20 万亿 Token 的数据 Pipeline
当你能够训练一个非常大的模型时,数据团队就会面临一个很好的问题:你需要大量 Token。
我们希望在 11 月左右完成预训练,从而为后训练留出时间。实际上,我们比预期更早完成了训练。
这意味着我们可以使用大约 20 万亿 Token。
这个规模小于目前中国大多数针对推理效率优化的 Frontier 模型,但如果不考虑通过重复训练数据(Epoching)来扩大训练量,它已经超过了此前所有开源模型项目的规模。
那么,这些数据从哪里来?
好消息是,开源社区已经完成了大量相关工作。
我们曾经在 Hugging Face 上使用过 152 个数据集。这些数据集都包含具有实际训练价值、且相对独立的数据。
20 万亿 Token 听起来非常庞大,但如果你花一周时间浏览 Hugging Face,就会发现这些数据实际上都已经存在。开源社区在这方面做出了非常出色的贡献。
问题在于,不同数据的质量存在明显差异,而且有些数据集只是穿着不同外衣的同一个数据集。
例如,Nemotron 和 Dolma 虽然采用了不同的数据处理 Pipeline,但它们都源自 Common Crawl。
数据之间存在大量重复,因此我们不能直接将所有原始数据集导入训练。
我与同事 Rafal Wojdyla 和 Mark Muchane 一起开发了一套名为 Datakit 的数据 Pipeline。
Datakit 基本上会导入 Hugging Face 上所有有价值的 Token 数据集,至少覆盖我们启动项目时能够获取的数据。
它会执行全局去重和全局去污染,将数据聚类到不同的主题类别中,对数据进行质量评分,并将每篇文档分配到唯一的数据类别中。
随后,由于我们已经建立了完善的 Scaling 实验体系,就可以训练大量小模型,寻找效果相对较好的数据混合方案。
好消息是,这本质上属于数据工程,而人类社会在数据工程方面已经积累了相当成熟的能力。
去重(De-duplication):
在大约 25 万亿个原始 Token 中,我们通过跨数据集去重删除了约 2 万亿个重复 Token。
其中大部分重复数据来自 NVIDIA 自己的数据生态。
NVIDIA 发布了大量数据,但显然没有在整个数据生态中进行全局去重,因此我们发现其内部存在大量重复内容。
去污染(Decontamination):
我们会删除开发过程中使用的所有 Benchmark,以及计划用于最终测试的所有 Benchmark。
目前,我们的测试集主要采用 Artificial Analysis Intelligence Index。
具体来说,我们会删除任何包含这些 Benchmark 中任意一个 13-gram 片段的文档。
主题聚类(Topic Clustering):
假设我告诉别人,我们应该提高某个数据集的采样权重,因为其中包含数学内容,尽管这个数据集同时还包含大量垃圾数据。显然,没有人会认真对待这样的建议。
因此,我们不再将每个数据源单独视为一个数据集,而是将所有内容重新分配到不同的主题类别中。
例如,一个来自通用 Web Corpus 的数学页面,会被分配到与专门用于数学训练的数据集相同的类别中。
我的脑子比较简单,所以我希望能够直接提出这样的要求:“增加数学数据,减少食谱内容,增加代码数据。”
而不是寄希望于 Web 数据能够自动按照我们希望的比例被采样。
质量评分(Quality Scoring):
我们希望了解每篇文档的质量究竟如何。
这里采用的是一种比较标准的方法:首先使用一个大模型,根据预先制定的评分标准对每个样本进行评分,然后将评分能力蒸馏到一个小型分类器中,利用这个分类器对所有训练数据进行处理。
你可能会认为,应该直接删除质量较差的数据。
但我要告诉你的是:保留那些质量较差的数据。
质量评分能够为我们提供数据在质量和主题两个维度上的分布信息。
例如,我们拥有大量议会和董事会会议数据。由于这些机构必须公开发布会议记录,因此网上存在大量 PDF 文件,里面包含地方市议会的会议内容。
对于每个数据类别,我们都知道其质量分布和主题分布。
这意味着,我们通过为不同数据类别设置采样权重来进行数据筛选,而不是直接删除数据。
我们可以将质量最高的数据重复采样 10 次,对质量最差的数据只使用极少量,而中位数质量的数据则恰好使用一次。
这种调整可以同时发生在质量和主题两个维度上。
今天训练的某个规模的模型,可能需要一种特定的质量分布;明天训练一个规模小得多、Token 数量也更少的模型时,可能又需要完全不同的质量分布。
通过聚类而不是直接过滤,我们就能够灵活地将这些需求表达为不同的数据混合方案。
再次强调,我们可以利用 Scaling 实验来调整新的数据混合方案,并在小规模模型上比较不同方案的效果。
这里展示的是我们最初的数据混合方案,以及训练进行到一半时切换到的新方案。
结果显示,新方案整体上提升了 Loss 收敛速度,同时在一定程度上增加了数学和代码数据的权重。这两类内容也是人们大量使用模型处理的任务。
现场问答:数据质量与数据筛选
观众: 你们的数据评分标准具体包含哪些内容?这些标准是否受到下游评测的影响?如果必须先训练一个完整模型,然后再通过最终评测判断数据质量,整个过程似乎会耗费大量时间。
Will Held:
这些评分标准的迭代程度还没有达到我个人希望的水平。
这套 Pipeline 并不是我们发明的。FineWeb-Edu 等项目已经采用了类似方法。
大多数评分标准都在表达研究者认为优质数据应该具备什么特征。
我们的方法有一个主要区别:我们主要描述什么样的数据是糟糕的、不可接受的,因为定义什么是优质数据,往往容易将各种偏见引入评分标准。
例如,FineWeb-Edu 更偏向于强调教育价值,因此流行文化内容即使格式非常规范,也可能获得较低的质量评分。
我们的评分标准则主要强调:“不要把垃圾放进去。”
代码数据是一个特殊情况,因为代码在负责评估自然语言的模型看来,可能像是一堆毫无意义的内容。
目前,这套评分标准还没有经过非常深入的迭代。
所谓垃圾数据,主要包括 SEO 垃圾内容,以及那些你根本不会主动阅读的网页。
一个非常实用的判断标准是:如果我阅读这个网页,能不能学到任何东西,哪怕这些知识并不重要?
我们希望降低权重的大多数网页,都是一些由互不相关的词语拼凑而成、专门为了操纵搜索算法而生成的内容。
Adam Jonas(Fulcrum Science): 还有那些扫描质量很差的 PDF。
Will Held:
没错,还有乱码 PDF。这些都是你根本不会愿意阅读的内容。
我们所说的垃圾数据,主要强调的是内容形式上的问题,而不是主题本身的问题。
观众: 那么 Perplexity 呢?其他在优质数据混合方案上训练的大模型,通常会对优质数据给出较低的 Perplexity,对垃圾数据给出较高的 Perplexity。现在 Marin 已经具备不错的能力,你们是否可以直接使用它的 Perplexity 来筛选垃圾数据?
Will Held:
你的问题是,能否利用一个已经训练好的模型计算数据的 Perplexity,然后据此过滤垃圾数据。
我认为这是可行的,实验结果可能也不会太差。
但我过去在使用 Perplexity Filter 时遇到过一个问题。这里我指的是一些相对简单的实现,例如 KenLM,一种曾经被广泛用于数据过滤的简单 N-gram 模型。
Perplexity 最低的数据往往语言非常干净、连贯,但同时也可能是整个数据集中最缺乏信息量的部分,因为它们包含的文本最容易被预测。
因此,Perplexity 与数据质量之间并没有很好的相关性。
不过,如果将 Perplexity 与数据混合策略结合起来使用,情况就会好很多。
我以前做过一些实验:如果按照 Perplexity 将数据分桶,然后每次只使用其中一个数据桶训练模型,通常表现最好的是大约第 75 百分位的数据。
这是一个比较理想的区间:Perplexity 不会高到意味着数据是垃圾,也不会低到意味着数据过于程式化、容易预测。
观众: 你们是否过滤了 AI 生成的文本?
Will Held:
在这次预训练中,我们没有这样做,而这确实正在成为一个越来越严重的问题。
我们与 Pangram 的团队进行了很多交流,他们专门从事 AI 生成内容检测。
这是我们感兴趣的方向,尤其是在未来重新从 Common Crawl 提取数据时。
最新的数据快照中,AI 生成内容的比例正在迅速增加。而我们这次使用的大部分数据大约有一年的历史,其中当然也包含大量 AI 生成内容,只是没有现在这么严重。
这次训练中,我们没有专门进行 AI 生成内容过滤。
观众: Pangram 能够在这样的规模上处理数据吗?他们的模型运行成本应该非常高。
Will Held:
他们的工程能力比我强得多。
我们告诉他们需要处理多少 Token,他们回答:“没问题。”
我认为我们可能不会使用他们最强大的模型,而是采用与质量评分类似的方式:先在一部分数据上运行模型,然后将其能力蒸馏到一个更小的模型中。
Adam Jonas(Fulcrum Science): 你们是否会主动控制合成数据的比例?对于这个问题是否有自己的判断?
Will Held:
我们大约有 25% 的数据可以明确确认是 AI 生成的,这些数据来自那些明确使用某个强大模型生成的数据集。
总体而言,只要保留足够比例的自然数据,应该就不会有太大问题。我不认为这会导致严重的 Model Collapse。
真正困难的是,AI 生成的数据会干扰质量评分模型。
有些 AI 数据质量很好,是我们希望保留的;另一些 AI 数据质量极差,是我们希望删除的。
因此,我们可能需要针对 AI 数据和人类数据分别训练不同的质量分类器。
AI 已经改变了我们原本用于判断人类内容质量的标准。
过去,你可以很快判断一封邮件是否质量低下,例如内容敷衍、充满拼写错误。
但现在,判断信号发生了变化:如果一封邮件过于完美,而且引用了太多关于我的信息,那么它反而可能不是人类写的。
数据质量判断也面临相同的问题。未来,我们需要对 AI 数据和人类数据采用不同的处理方式。
开放研究与 Marin 的下一步
前面所做的一切,都是为了让那个被我高度简化的科学研究流程重新成为可能。
对于这次训练,我们希望公开训练过程和 Checkpoint,让任何人都能够像研究其他 Open Weights 模型一样,以完整的 White-box 方式研究 Marin。
我们希望研究者能够解释模型为什么表现优秀,或者为什么表现糟糕。
因此,我们希望公开模型训练所使用的每一种数据成分,以及尽可能多的关键决策。这样,研究者就可以对模型进行深入分析,建立因果层面的理解,解释模型为什么擅长或不擅长某些任务。
我们希望这些研究最终能够形成一个持续创新的循环。
Marin 团队没有人认为,我们能够提出这个世界上所有优秀的研究想法。我们的团队规模很小,而整个研究社区非常庞大,拥有各种不同的视角。
我坚信,整个研究社区能够产生的好想法,远远多于任何一个单独的组织。
因此,我们的目标是帮助研究社区完成科学研究流程中最初的两个步骤。
下一次训练模型时,我们希望第一步就是阅读并引用大量论文,然后将这些研究成果应用到大规模模型训练中。
真正的创新贡献应该归属于那些利用我们的模型开展研究、提出新方法的人,而不是由我们宣称自己拥有世界上最好的想法。
基于这一理念,同时利用我们已有的 Scaling Laws,Larry 开发了一套非常有意思的系统,叫作 Marin Belay。
Agentic 时代有一个有趣的特点:现在已经没有多少人需要亲自编写代码了。
任何人都可以直接在 Marin Belay 的 GitHub Issue 中提出自己的想法。
如果我们认可某个想法,就可以让 Agent 自动实现它、提交代码分支、在我们的基础设施上运行实验,并在对应的 Issue 中反馈结果:你的想法取得了什么效果,以及对应的代码分支在哪里。
效果良好的想法就会沿着 Scaling Ladder 逐步扩大实验规模,整个过程与我们内部提出的研究想法完全相同。
Marin Belay 候选 Recipe 与 Hero Run 所用 Recipe 的对比
在这张图中,最上方的灰色曲线代表我们启动 Hero Run 时使用的 Recipe,最下方的红色曲线则代表目前的候选 Recipe,它来自社区讨论中不断迭代的各种想法。
这正是我们希望通过这套流程实现的目标:
训练一个大模型,让人们能够从中学习;研究者围绕这些结果开展大量小规模实验,不断迭代改进;然后重复整个循环,训练出下一个更好的模型。
我们的团队仍在持续扩大。我认为过去两周又有三名新工程师加入。
内部还有很多工作正在进行,目的是让整个训练流程更加平稳,并能够扩展到更大的规模。
我们非常期待与大家合作,继续共同建设开放的研究资源。
所有相关链接都可以在 Marin 网站上找到。
结束问答
观众:
假设你正在进行一次 10 万亿 Token 的训练,训练到一半时 Gradient Norm 突然出现尖峰,随后 Loss 恢复,但最终稳定在了一个不同的水平。
当你在训练曲线上看到 Gradient Spike 时,第一反应通常会认为是什么地方出现了异常?
Will Held:
我们非常幸运,因为拥有一个很好的确定性 Data Loader。
因此,如果 Gradient 突然出现异常尖峰,我们首先会检查最近几个训练 Step 中实际使用的数据。
在目前这些训练任务中,我们还没有遇到过这种情况。
这次训练中出现的问题略有不同:某些数值增长速度比预期更快,而不是突然出现一个明显的尖峰。
遇到这种情况时,我们通常会检查模型架构,寻找导致异常增长的原因。
但如果出现明显的 Gradient Spike,我们首先会问:刚才究竟训练了什么数据?
实际上,我们还遇到过一个相反的问题,由 Larry 完成了 Debug:Loss 突然出现向下的尖峰。
模型在某个数据集上的表现突然变得更好。
Larry 检查了训练数据,发现对应时间段内有一篇受到污染的文档漏过了 Decontamination Filter,因此模型短暂地在这部分数据上获得了更低的 Loss。
这种突然的变化,通常都与数据质量有关。
观众: 最小规模的实验可以做到多小?
Will Held:
我最初开展这些实验时,最小规模的实验需要一个小时。
Larry 已经将时间缩短到了八分钟。
目前,Marin Belay 中最小规模的实验可以在 8 张 H100 上运行八分钟。
这意味着你可以非常快速地尝试大量不同的想法。
当然,在真正决定启动 Hero Run 之前,你仍然需要沿着整个 Scaling Ladder 逐步扩大实验规模,这需要更多时间。
但在八分钟的实验规模上,你已经可以相当有效地测试各种想法。
观众: 那么 Scaling Ladder 最小需要做到多大?
Will Held:
我们一直采用比最终模型小 300 倍的规模。
但这完全没有经过什么科学论证,只是一个非常随意的选择。
这是我第一次做实验时采用的比例,后来我们就一直沿用了下来。
实际上,你可能可以将实验规模缩小到 1,000 倍,甚至更小。
来源:human five