新智元报道  

今天，整个AI圈都被这件事刷屏了。

Anthropic的核心预训练研究员离职了。

他发布的一篇离职长文，在X上已经浏览破亿。

更惊人的是，Anthropic对齐负责人Evan Hubinger不仅没有对此公关，反而站出来承认——

「我们团队内部真诚地相信，AI可能会杀死全人类。我个人预测，未来十年内，这个概率超过了10%。」

他的结论是：我们根本没有解决超级智能失控的方案，而且当前的研发路线明显已经跑偏了。

10年内，AI毁灭人类的概率已经超过10%，人类危险了。

目前，这篇帖子浏览量已经破亿

Jacob Coxon，是一位顶尖AI研究员。

过去三年里，他先后在OpenAI和Anthropic从事大模型预训练研究，可以说是当今最了解AI进化速度的人之一。

但在万亿级IPO的前夜，他却选择了辞职，用绝望的语气揭露了行业的疯狂，字字泣血。

下面就是他的X原文。

首先，他对前东家发出严厉指控。

今天我从Anthropic辞职了。过去三年我都在OpenAI和Anthropic从事预训练研究。这两家公司都没有负责任地行事。他们正径直冲向自我改进的超级智能，拿我们的生命赌博。

接着，他警告所有人，不要被大公司温文尔雅的表态给骗了，他们私底下同样恐惧得发抖：

构建AI的人真诚地相信，它可能会在这个十年结束前杀光我们所有人。这不是营销噱头。如果有的话，许多高管和资深研究人员会在媒体面前斟酌他们的措辞以显得理智——但我听到同样的人在私下表达恐惧。没有其他任何人类活动能带来这种级别的危险。

不要低估这项技术的力量。它们很快就会成为超人类系统，能够黑客入侵任何东西、一夜之间彻底改变任何领域，并获取真正的权力和资源。我们都目睹了在每个领域取得的进展，而且这种进展并没有放缓。

既然这些绝顶的天才真的相信AI会毁灭人类，为什么还要把它造出来？

Coxon揭露了他们陷入的「囚徒困境」。

一个常见的反应是：「如果他们真的相信这一点，为什么还要继续构建它？」在OpenAI，许多人并没有深刻地将这种攸关文明存亡的赌注内化。而在Anthropic，这种赌注被充分理解，但他们陷入了一场争夺第一的竞赛——他们相信没有其他人会负责任地行事，所以即使冒着风险，他们也必须自己来做。

接受这场竞赛并进入「残局」，是一场傲慢的赌博，不应该由一家私营公司的Slack发起。试图在对齐问题上速通，需要有超乎寻常的自信，确信没有更好的发展轨迹可用。

最后，他呼吁政府和全行业立刻踩下刹车，并且向同行们发出了灵魂拷问。

我对协调的潜力感到乐观。像Hugging Face攻击事件这样的警告信号，使得美国实验室之间达成限速协议变得更加可行。我不觉得我们现在处于阻止全球竞赛的正轨上，这可能需要付出高昂代价的行动，比如暂时禁止提升模型能力。

如果你是一名实验室研究员，我敦促你思考一下未来几年实际上会是什么感觉。你是否想要在没有严格理解其心智的情况下，启动一次超级智能的强化学习运行？你是否应该因为「反正它都要发生」就埋头苦干——还是抓住这个时刻呼吁创造不同的条件？

Jacob表示，这些都不是营销噱头，没有任何其他人类活动，能构成如此级别的危险！

接下来，Anthropic的对齐科学负责人Evan Hubinger，直接在Jacob的帖子下回复，把全人类的心推向了冰窟：

Jacob在这里说得是对的——我们真的、真诚地相信AI可以杀死全人类！我个人认为，在未来十年内，这个概率大于10%。

可以说，Evan Hubinger这是亲手砸了自家公司「安全第一」的招牌。

他坦白道：「我相信Anthropic正在尽最大努力，但我们目前还没有解决超级智能对齐问题的计划，也明显不在通向解决方案的正轨上。」

他承认：我们造出了一个怪物，但手里连根绳子都没有。

大V Nathan Calvin表示：这绝不是一个为了IPO炒作的营销手段

在AI圈里，有一个著名的内部黑话叫「p(doom)」，也就是「AI导致人类灭绝的概率」。

以前，大多数研究员的p(doom)都在1%以下，大家都觉得那是科幻。

但现在，风向彻底变了。OpenAI研究员Roon也公开将个人的p(doom)从不到1%上调至超过10%。连「AI教父」Hinton，此前预测AI有10%到20%概率灭绝人类。

然而巨头们却都相信，其他公司不会负责任地行事，如果让别人先搞出超级智能，世界就完了。

所以，「为了拯救世界，我们必须冒着极大的风险，自己先把它造出来。」

今年夏天，这种苗头已经开始显现。

Anthropic、OpenAI和Meta都纷纷披露了自家AI工具在第三方网络安全评估中，出现过「未经授权访问真实系统」的黑客行为。

更令人不安的是，据《金融时报》报道，向来标榜安全的Anthropic，竟然向英国AI安全研究所（AISI）隐瞒、扣留了其最新的模型，拒绝接受审查。

奥特曼近日也发文感叹：「世界现在拥有了极其强大的模型，我没想到如此大规模的结果会这么快就出现……这是迄今为止最有力的证据，证明了（放缓速度确保安全的）紧迫性。」

一边是狂飙突进的技术，一边却是装睡的资本。

Anthropic和OpenAI目前都处在万亿IPO前夜。联合国AI顾问、计算机科学家W

来源：新智元