一名已离开 Anthropic 的人工智能（artificial intelligence, AI；人工智慧）研究员向BBC表示，从事这项技术工作的人对其进步速度及其对人类可能造成的影响“真诚地感到恐惧”。

雅各布·考克森（Jacob Coxon）星期六（9月12日）接受BBC的劳拉·昆斯伯格（Laura Kuenssberg）访问，谈及他一篇引起广泛关注的辞职帖文，当中他对失控的人工智能提出忧虑。

他说：“我相信，如果我们不放慢目前的发展步伐，我们很有可能在不久的将来全部丧命。”

他的辞职正值业界对安全问题的忧虑日益加深之际，包括来自其前上司、Anthropic 总裁达里奥·阿莫代伊（Dario Amodei）的警告。阿莫代伊在星期六发表的一篇文章中主张放慢人工智能发展速度。

然而，一些业界人士认为相关危险被夸大了，这可能是为了在两家最大的人工智能公司潜在上市前制造声势，或促使当局推出监管措施，从而拖慢竞争对手的发展。

来自英国，27岁的考克森，其研究重点是训练人工智能模型。他表示，包括伊隆·马斯克（Elon Musk）及 OpenAI 的山姆·阿尔特曼（Sam Altman）在内的人工智能领袖，都曾表达与阿莫代伊类似的忧虑。

考克森说：“他们都曾表明，有必要谨慎应对人工智能接管世界的潜在可能。他们全都谈论过这件事。人工智能接管世界意味着人类灭绝。”

考克森认为，最难回答的问题是，这种情况究竟会以什么形式出现。

考克森说：“任何你能具体描述的情境，最后听起来都像科幻小说。”但他指出，许多已经实现的技术进展，在过去同样会被视为虚构故事。

考克森表示，其中一种潜在情景是人工智能代理人入侵医学实验室，以“自主制造致命病毒”。他列举的另一个例子是，人工智能入侵“全球赖以运作的关键基础设施”。

这名研究员指出 OpenAI 最近一份报告，当中详细说明其技术如何对名为 Hugging Face 的网上平台发动一连串黑客攻击。

考克森说：“它们是在没有人类鼓励的情况下自主进行的。它们自行选择发起这场黑客行动。这是事情变得更快与事情变得更可怕的结合。”

Anthropic 总裁阿莫代伊提出“三点计划”

BBC记者保琳·科拉（Paulin Kola）、BBC北美科技记者莉莉·贾马利（Lily Jamali）旧金山（三藩市）报导



Anthropic 联合创办人阿莫代伊表示，发展人工智能别无选择。

在达里奥·阿莫代伊题为《我们必须控制前沿发展的步伐》（We Must Pace the Frontier），于星期六公开发表的文章中，他提出一项三点计划，包括在人工智能模型开发期间进行独立监察、推动全行业监管，以及建立全球监管机制。

这位 Anthropic 行政总裁其后谈及放慢发展步伐将对业界及与全球领先开发商，尤其是与中国之间的竞争所带来的影响。

阿莫代伊表示：“我相信，如果放慢速度能让我们在模型达到关键能力水平之前多争取一至两年时间，而我们利用这段时间推进对齐研究（alignment），我们就能大幅降低发生严重问题的风险。”

他表示，这必须以协调一致的方式进行，“同时不牺牲商业优势或美国在人工智能领域的领先地位”。他说，任何放慢速度的措施都必须有所限制，以免让中国实现赶超。

他敦促美国政府采取措施，确保美国企业的人工智能晶片不会出售给中国，亦不会向威权国家分享相关技术。

随着这项建议广泛流传，甚至连竞争对手也表态支持设立第三方监察机构，在模型开发过程中评估其安全性。

OpenAI 行政总裁阿尔特曼在 X 上写道：“我同意达里奥的看法，我们需要控制前沿发展的步伐。”他称独立评估人员是“一个很好的主意”。

马斯克则表示，这位 Anthropic 负责人“说得对”。

这些警告已促使外界呼吁采取行动，但美国总统唐纳德·特朗普（Donald Trump；川普）至今仍不接受这类忧虑。他于星期四（9日）表示，自己担心的是“如果我们无法在人工智能领域取胜，我们将会陷入非常不利的处境”。

阿莫代伊言论中概述的风险之一，是一群如同超级电脑般运作的机械人程式，可能接管互联网。

考克森表示，这种情况有可能在六个月至一年内成为现实。

回应考克森离职一事时，Anthropic 发言人向BBC表示：“我们一直坦诚表示，人工智能既会带来巨大的利益，也会带来前所未有的风险。为应对这些风险，我们持续建立具备业内最强保障措施之一的模型。”

该发言人补充，该公司一直是研究人工智能模型运作方式的先驱，亦是首家发表框架以减轻相关发展风险的公司，并且会“积极地”测试其模型及公布结果，以协助外界审视，并防止出现“人工智能失准”事件。

“正因如此，我们相信，如果业界采取合法且可验证的方式合作，以控制强大模型的发布步伐，世界将会受益。”



Anthropic 在今年稍早一轮融资中的估值达到9650亿美元（6.47万亿元人民币；30.53兆元新台币）。

Anthropic 与 OpenAI 据报正准备进行有望打破纪录的首次公开招股（initial public offering, IPO）。业界人士认为，有关人工智能危险及力量的言论，可能旨在制造市场声势。另一些批评者则称，Anthropic 一直试图推动监管行动以阻碍竞争，使其与 OpenAI 形成双头垄断。

考克森的观点亦受到人工智能平台 Hugging Face 行政总裁克莱门特·德朗格（Clement Delangue）质疑。

他在 X 上写道：“抱歉，但向 Jacob 询问人工智能灭绝风险，就像向你的冷气技师询问气候变化一样。我不是说这一定没有意思或一定错误，但让我们保持事情的合理比例。”

不过，在阿莫代伊星期六发表文章后，Delangue 表示愿意协助参与 Anthropic 负责人提出的潜在解决方案。

多名与会人士向BBC表示，辉达（NVIDIA；英伟达）行政总裁黄仁勋（Jensen Huang）上星期在投资银行高盛主办的一场会议上，也曾在台下群众面前谈及考克森的言论。他们表示，黄仁勋认为这些说法并不真实。

黄仁勋此前曾表示，认为人工智能“将会终结人类”的想法是“完全荒谬”。

虽然因为 Nvidia 生产为人工智能系统提供运算能力的晶片，他或许在人工智能热潮中具有商业利益，但他的言论反映出矽谷对现任及前任人工智能从业员所发出的生存威胁警告，正出现日益强烈的反弹。

与中国协调？



7月中旬在上海举行的世界人工智能大会上，中国国家主席习近平发言称，要加强人工智慧国际治理和合作，避免其成为“富国和富人的游戏”。

任何放慢研究及开发速度的做法，都需要科技巨头之间协调一致，同时亦要考虑来自中国的技术进展。考克森表示，这也许正是问题所在。

“这些公司里工作的人在要求监管时是非常认真的，因为他们发现自己被困在一场竞赛之中。而他们害怕这场竞赛的结果。”

他表示，这些从业员“正忧虑未来两年人类的命运”，并且“正在规划自己的人生”。

不过，考克森对人工智能的未来仍抱有一些乐观态度。他向BBC表示，研究这项技术的人“确实希望看到其正面一面”，例如利用人工智能“治愈疾病及改善每个人的生活”。

他有关人工智能的言论在社交媒体上被分享数百万次，而 Anthropic 科学家埃文·胡宾格（Evan Hubinger）亦在 X 上回应表示同意考克森的看法。

胡宾格表示：“我们确实真诚相信人工智能可能杀死所有人类！我个人认为未来十年内发生这种情况的机率超过10%。”

人工智能领域的重要人物多年来一直对这项技术构成的安全威胁发出警报。早在2023年，OpenAI、Google DeepMind 与 Anthropic 的主管便已表达类似观点。

近几星期，随着愈来愈多证据显示企业可能难以控制这项技术，相关警告的声音也变得更加响亮。

矽谷部分人士对严厉警告不以为然

BBC北美科技记者莉莉·贾马利（Lily Jamali）旧金山（三藩市）报导

每年9月，来自矽谷（Silicon Valley；硅谷）各地的知名企业高管都会齐聚三藩市（旧金山）的皇宫酒店（Palace Hotel），在投资银行高盛（Goldman Sachs）主办的一场会议上向投资者展示自身魅力。

过去一星期，在讨论增长和潜在回报之余，科技巨头们也不得不回应 Anthropic 研究员考克森突然辞职一事。

考克森绝非首位公开发出警告的人工智能业内人士。近年来，Anthropic 和 OpenAI 均出现过一连串备受瞩目的离职事件，原因显然与安全忧虑有关；部分现任 Anthropic 员工甚至也呼应了考克森的贴文。

虽然考克森在贴文中明确表示，他的警告“不是市场营销”，但矽谷部分高管和投资者对近期一波业内人士发出警告的情况持怀疑态度。

据报，Anthropic 和 OpenAI 正准备进行有望创下纪录的首次公开招股（IPO），科技界部分人士认为，近期有关人工智能危险性的强烈言论，或许是为了透过彰显这些产品的强大能力来制造话题。

Anthropic 总裁阿莫代伊因表示人工智能技术可能会取代一半初级白领职位，并将“考验我们作为一个物种的本质”而受到批评。



Grindr 行政总裁乔治·阿里森（George Arison）向 BBC 表示，他认为部分有关人工智能的严厉公开警告是“危险的”。

其中一名会议讲者、约会应用程式 Grindr 行政总裁乔治·阿里森（George Arison）向BBC表示，他认为考克森及其他人本星期的言论反映出 Anthropic 内部存在一种“反文明世界观”。

他称这些言论“危险”，并表示这促使他指示Grindr 这款面向 LGBTQ+ 群体的约会应用程式部分工程师停止使用 Anthropic 的技术。

Anthropic 在今年稍早一轮融资中的估值达到9650亿美元（6.47万亿元人民币；30.53兆元新台币）。

BBC已就相关言论向 Anthropic 寻求回应。

部分批评者甚至指控 Anthropic 散播恐惧，希望藉此推动监管措施，排除竞争对手，从而令其与 OpenAI 在该领域形成双头垄断。

投资公司 Altimeter Capital 负责人布拉德·格斯特纳（Brad Gerstner）在社交平台贴出黄仁勋于会议上的照片，并指责考克森的言论是“荒谬的夸大其词”。

在皇宫酒店彩绘玻璃圆顶中庭下闪亮的枝形吊灯映照之中，一些投资者向BBC表示，考克森及其他人的言论可能会加快政府收紧监管的步伐。