OpenAI 安全委员会成员 Paul Christiano 称 AI 接管风险最高达五成
说话的人不是普通学者,是参与发明 RLHF、现在坐在 OpenAI 安全委员会里的 Paul Christiano。他给出 3 年内接近五成的灾难概率估算,和实验室对外宣传的乐观口径差别很大。做安全政策、对齐研究或想了解 OpenAI 内部风险分歧的读者可以看看原视频。
OpenAI 安全与安保委员会成员 Paul Christiano 在《The Hinton Lectures》演讲中表示,未来 6-12 个月内存在 AI 接管的实质性风险,如果以最快速度、最简单方式构建前沿 AI,未来 3 年内发生灾难的概率接近五五开。他声称目前已经观察到重大事故发生前可能出现的迹象,并且即便采取现实可行的政策应对,风险依然极高。
Christiano 的判断带有特殊分量:他是 RLHF(人类反馈强化学习)的共同发明者,这项技术在 2017-2021 年间于 OpenAI 诞生,至今仍是 ChatGPT 等模型对齐训练的核心方法;2024-2026 年他还担任美国政府 AI 安全机构(现名 CAISSI)安全负责人。也就是说,他本人处于 OpenAI 内部阻止高风险实践的委员会中,同时深度参与过官方安全监管。
Gary Marcus 转发时表示不同意其技术判断,但提出了一个尖锐质疑:如果 OpenAI 董事会成员认为存在这种级别的风险,这家公司及其竞争对手为何仍被允许按现有速度继续运营。该发言出自《The Hinton Lectures》系列讲座,相关活动仍在持续举行。
i don’t agree but if board members are saying this why the fuck is this company (or its competitors) allowed to operate? Rob Wiblin @robertwiblin Paul Christiano (OpenAI board member) yesterday: "There's material risk of AI takeover in the next 6-12 months. We have seen roughly the things we might expect to see shortly before something really bad were to happen. Even with [any] realistic policy responses, the risk remains exceptionally high. If we build this as quickly as we can in the easiest way we can the chance is [more like] a coin flip [within the next 3 years]. For most people in this room, the most likely reason they will die is because of an AI accident." Christiano: • Is on OpenAI's safety and security committee (which exists to block risky practices) • Co-invented RLHF at OpenAI back in 2017-2021 • From 2024-2026 was head of safety at the US gov's AI agency (now called CAISSI) (Video is from 'The Hinton Lectures' there's another on tonight and tomorrow.)
本条情报归属 AITOP「行业」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「各国 AI 监管法案、合规治理与主权算力政策」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:OpenAI、Paul Christiano、RLHF、AI安全,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Gary Marcus」(@GaryMarcus),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 rohanpaul_ai、Latent Space (swyx)、Andrew Curran 等),属于近期高关注度行业信号。