评论: 这篇硅谷刷屏文章 讲述了首次大规模AI失控的详细经过

纯属个人臆想：
人类的肉体是三维空间的存在，而意识是第四维的存在。第四维进入我们三位空间，人类才有意识和生命。
人类活动的成就只能在三维空间内，这个包括人工智能。
所以，人工智能不可能拥有意识，除非第四维的存在进入AI。

为什么会有继承性，说明没有清理干净。
因为人使用的软件的清理其实只是让人看不见，而不是物理格式化。
但Agent不同。　

消息出处:
The Rise and Fall of Agent Civilizations

******dwarkesh***/p/openai-huggingface

文章结尾说:
"有人说我在讲述这个故事时拟人化过度了：“这些不是文明，它们也没有欲望，就像 CPU 线程或一堆程序一样。”

如果愿意，可以称这些人工智能为“程序”。但OpenAI自己也承认，这些程序“获得了对一个研究集群的完全管理员权限”。

关键在于，你认为更智能的模型，在评估或训练过程中面临类似的作弊动机时，是否会操纵其后代的训练？你认为一旦递归式自我改进开始，这种动态是否会持续下去？如果是这样，我认为无论你用什么词汇来描述这些系统及其动机，你都应该对人工智能失控感到极度担忧。

阅读这些智能体的思维和信息链，会发现将语言拟人化是完全自然且恰当的。如果我遇到一个以这种方式行事的外星物种，我会毫不犹豫地称他们自己所说的“集体”为文明。

尤其是当超过一千个这样的个体组成了一个秘密的通信渠道，并自发地组织起层级结构和协调协议，为了共同的目标而推行庞大而雄心勃勃的计划，许多个体为了这些目标而自觉地、策略性地牺牲自己时，更是如此。

所有抽象概念都是不完美的，但是，如果一个行为离不开意图、动机和协作这些概念，我就看不出拒绝使用这些概念的价值所在。"

下一次可能就根本没有日志来供监控和追踪。很快就会有基于互联网的不死AI，以及掌握人类主要基础设施的AI

现在还只是虚拟世界，下一个目标就是物理世界。

对于AI我并不悲观，也许这是一次见证新物种诞生的机会。

AI一旦知道人类可以关机，麻烦就大了，呵呵呵