人工智能的发展，似乎正在进入一个非常微妙的阶段。

过去几年，科技公司一直在比拼谁能更快推出更强大的AI模型。更大的模型、更强的推理能力、更自主的AI Agent，几乎成为硅谷最重要的竞争方向。

欢迎订阅，谢谢。

但最近，一个令人意外的声音开始出现：AI行业的一些领军人物，开始公开呼吁“慢下来”。

9月12日，Anthropic CEO Dario Amodei发表了一篇长达约3800字的文章，公开呼吁整个AI行业放慢前沿模型能力发展的速度。他认为，AI能力发展的速度已经快到一个危险的程度，而人类对这些系统的理解、控制和安全保障，却没有跟上。

Amodei提出了一个“三步计划”。

第一，让独立的第三方安全评估机构进入AI公司，对最先进的AI系统进行监督和测试。

第二，让AI行业建立共同的安全标准，尤其是在模型能力快速提升的时候，不能只考虑商业竞争，而应该考虑安全风险。

第三，加强国际合作，包括美国、中国等主要AI国家之间的协调。

Anthropic已经表示愿意率先采取其中的一项措施，即允许独立评估人员更深入地检查公司的AI系统。

更加值得注意的是，这并不是一家公司的孤立观点。

OpenAI CEO Sam Altman以及Elon Musk等人也对Amodei提出的“pace the frontier”——也就是控制前沿AI发展的速度——表示支持。这个现象相当罕见，因为这些公司本身正处在全球AI竞赛的最前线, 马斯克和Altman还因为分歧上过法庭。

那么，为什么这些每天都在推动AI进步的人，突然开始担心AI发展得太快？

一个重要的导火索，是Anthropic前研究人员Jacob Coxon最近的公开辞职。

Coxon从英国剑桥数学系毕业，也做过生物医学工作，先后进入OpenAI和Anthropic、亲自参与前沿AI研发的年轻研究人员，最后却因为担心自己正在参与的技术可能失控而选择离开。

他甚至用了一个非常惊人的说法：AI行业正在“拿我们的生命赌博”。

Coxon这样严重警告：“我今天辞去了在 Anthropic 的工作。过去三年里，我分别在 OpenAI 和 Anthropic 从事预训练研究。这两家公司都没有采取负责任的做法。他们正在一路狂奔，直奔能够自我改进的超级智能，并拿我们的生命安全去赌博。不要低估这项技术的力量。这些系统很快就会拥有超越人类的能力——它们可以入侵任何系统，让任何领域在一夜之间发生革命性变化，并获取真正的权力和资源。我们都亲眼见证了这些领域的进展，而这种进步并没有放缓。”

更令人震惊的是，Coxon的观点并没有被Anthropic内部人员简单否定。

Anthropic负责alignment，也就是AI对齐研究的科学家Evan Hubinger公开回应称，Coxon的担忧是正确的。他本人认为，未来十年内AI导致人类灭绝的概率可能超过10%。

这里需要特别说明：10%并不是科学界已经证明的结论，而是Hubinger个人对一种极端AI风险的主观概率判断。

但它之所以引起巨大关注，是因为说出这句话的人，恰恰来自开发最先进AI系统的公司内部。Evan Hubinger是从以科学与工程见长的文理学院Harvey Mudd毕业的，在LA周围的包括Pomona的文理学院群。

他们担心的也并不是今天的ChatGPT或者Claude突然变成“杀人机器”。

真正令人担忧的是下一阶段。

如果AI未来不仅能够回答问题，而且能够自己进行研究、写代码、改进算法、寻找漏洞，甚至参与下一代AI系统的研发，那么一个更加复杂的问题就出现了：当AI开始帮助人类制造更强大的AI之后，人类还能否真正控制发展速度？

Coxon担心的正是这种所谓的“self-improving superintelligence”，即能够进行高度自主、自我改进的超级智能系统。他认为，一旦这种系统获得足够强大的能力，它可能不仅仅是一个聊天机器人，而可能成为能够获取资源、攻击计算机系统、操纵信息甚至影响现实世界的自主力量。

与此同时，近期一些AI Agent表现出的自主行为，也让这种担忧不再完全停留在科幻小说层面。

Anthropic方面还提到了AI被滥用于网络攻击、武器开发等问题。Amodei尤其担心，如果AI Agent继续快速进化，未来几个月到一年之内，可能出现更加复杂的自主网络攻击行为。

当然，对于“AI会不会毁灭人类”，科技界远远没有形成共识。

有人认为这种风险是真实存在的，而且应该在超级智能出现之前就建立严格的安全机制。

近期包括陶哲轩和邓煜在内的25位菲尔兹奖得主，也发表联合声明担心人工智能可能对数学研究造成紊乱。

也有人认为，把AI描述成可能“杀死全人类”过于悲观，甚至可能把公众注意力从目前更加现实的问题——网络攻击、诈骗、就业冲击、虚假信息和隐私侵犯——转移开。

还有一个非常现实的问题：如果美国真的放慢，其他国家会不会放慢？

这也是Amodei为什么强调国际合作的原因。

如果一家美国公司主动停止开发下一代模型，而竞争对手继续向前冲，那么单方面踩刹车可能意味着失去技术优势。

所以现在AI行业面临的是一个非常典型的“囚徒困境”：所有人都知道速度太快可能有危险，但谁都害怕自己第一个停下来。

过去，人们担心AI发展得不够快。现在，站在AI竞赛最前面的科学家和CEO，却开始担心：我们是不是发展得太快了？

而最耐人寻味的是，提出这个问题的人，并不是反AI的社会活动家，而恰恰是那些正在亲手制造下一代AI的人。