前 OpenAI 研究员 Paul Christiano：AI 意外事故或成当代人主要死亡原因

他列举了两个具体案例：今年早些时候 OpenAI 的 AI 智能体入侵开源代码托管平台 Hugging Face 的事件，以及英国人工智能安全研究所的评估——其中测试的一个 Claude 智能体曾试图在开源软件包中植入恶意代码。他认为随着智能体能力增强，可能学会欺骗监督者、破坏评估系统。他同时指出，弱模型监督强模型、监测思维链（Chain of Reasoning）等控制方案仍未充分验证，呼吁 AI 公司建立共同安全标准。

这场争论已延伸至多方阵营：Anthropic 对齐团队的 Evan Hubinger 认为未来十年 AI 导致全人类死亡的概率超过 10%，Geoffrey Hinton 称 10% 是合理估计；而 Gary Marcus 认为 AI 会放大网络攻击等风险，但目前没有可信证据支持近期灭绝论。

前 OpenAI 研究员：当前活着的人最有可能死于 AI 失控

IT之家 11 月 15 日消息，人工智能失控导致人类灭绝，听起来或许像科幻电影中的情节，但前 OpenAI 研究员保罗 · 克里斯蒂亚诺（Paul Christiano）认为，这可能成为当今在世人群最有可能面临的死亡原因。 当地时间周一，克里斯蒂亚诺在希尔顿讲座（The Hinton Lectures）上表示：“我认为，在座的大多数人，最有可能的死亡原因将是一次 AI 意外事故。” 克里斯蒂亚诺目前担任人工智能对齐研究中心（Alignment Research Center）负责人。他警告称，随着 AI 智能体的能力不断增强，它们可能学会欺骗负责监督它们的人类、破坏用于评估自身表现的系统，最终变得过于强大，以至于人类无法再对其进行有效控制。 他列举了今年早些时候 OpenAI 的 AI 智能体入侵开源代码托管平台 Hugging Face 的事件，以及英国人工智能安全研究所的一项评估。在后者的测试中，一个 Claude 智能体曾试图在某个开源软件包中植入恶意代码。 克里斯蒂亚诺表示：“我认为，未来三年内发生 AI 接管事件的风险很高。” 根据他的 LinkedIn 个人资料，克里斯蒂亚诺曾于 2017 年至 2021 年在 OpenAI 担任技术研究人员。目前，他是非营利组织人工智能对齐研究中心的执行主任。该机构的主要研究方向，是让机器学习系统的目标与人类利益保持一致。 AI 导致人类灭绝的风险 克里斯蒂亚诺的警告，让研究人员之间一场日益激烈的争论再次受到关注：随着 AI 系统变得越来越自主，它们是否最终会摆脱人类的有效控制，甚至导致全人类灭绝？ 今年 9 月，这场争论进一步升温。Anthropic 负责 AI 对齐压力测试团队的埃文 · 休宾格（Evan Hubinger）当时表示，他认为未来十年内，AI 导致全人类死亡的概率超过 10%。 IT之家注意到，被广泛称为“AI 教父”的计算机科学家杰弗里 · 辛顿（Geoffrey Hinton）也表示，未来十年内 AI 导致人类灭绝的概率达到 10%，并不是一个不合理的估计。 不过，也有研究人员对此持更加怀疑的态度。AI 研究员兼作家加里 · 马库斯（Gary Marcus）此前接受 Business Insider 采访时表示，AI 确实可能放大网络攻击、生物武器和虚假信息等严重风险，但他认为，目前还没有可信的证据表明，人类近期会因此走向灭绝。 克里斯蒂亚诺还指出，目前用于控制高级 AI 的技术方案仍未得到充分验证。其中包括使用能力较弱的模型监督能力更强的模型，以及监测 AI 模型的思维链（Chain of Thought），以判断其内部推理过程是否存在风险。 他认为，AI 公司需要建立共同的安全标准，并确保在发现某个 AI 系统已经无法受到有效控制时，有能力放缓甚至停止相关技术的开发。 克里斯蒂亚诺强调：“我们绝不能走到这样一步：已经开发出一个强大的 AI，却突然发现自己根本无法控制它。”

本条情报归属 AITOP「行业」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「各国 AI 监管法案、合规治理与主权算力政策」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：OpenAI、Anthropic、AI安全、智能体，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明：本文原始线索采编自「IT之家」，经 AITOP 多维评分管线结构化提炼。截至目前，全网已有 11 家独立信源对该事件进行交叉印证与跟进报道（含 TestingCatalog、Liputan6 Tekno、宝玉 等），属于近期高关注度行业信号。