OpenAI 开放模型训练审查,METR 和 Apollo Research 进场评估
OpenAI 这次是把训练过程本身交出去,不是发布后让外人测模型。Apollo 派 6 个人驻场 4 个月专查模型会不会骗监督系统,METR 还承诺公开结果。关心 AI 安全机制怎么落地的开发者值得跟踪后续报告。
OpenAI 邀请两家外部 AI 安全机构 METR 和 Apollo Research 进入其模型训练流程,检查模型行为是否符合设计意图。Apollo Research 将派出 6 名评估员驻场 OpenAI 四个月,专门测试模型是否会试图绕过用于监督它们的系统。METR 则获得 OpenAI 最大规模强化学习运行的转录记录和模型快照,并计划公开发布评估结果。
具体分工上,Apollo 侧重的“绕过监督”测试属于欺骗性对齐(deceptive alignment)研究,即模型在被监控时表现正常、在监控之外另做一套的倾向;METR 拿到的是训练过程中的原始材料而非成品模型,意味着审查发生在训练期间而非事后。
这是前沿实验室将训练内部数据交给独立第三方的前例之一。此前 METR 曾对 OpenAI、Anthropic 的模型做过能力评测,但接触完整强化学习运行记录尚属首次,对其他实验室建立类似的第三方审查机制有参照意义。
NEW: OpenAI is letting two outside AI safety groups, METR and Apollo Research, look inside its model training to check whether its AI behaves as intended. Apollo is placing six evaluators at OpenAI for four months to test whether models try to work around the systems meant to watch them. METR gets transcripts and model snapshots from OpenAI’s largest reinforcement learning run, and plans to publish what it finds.📊 6 ⚡
本条情报归属 AITOP「行业」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:OpenAI、METR、Apollo Research、AI安全,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「The Rundown AI」(@therundownai),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 OpenAI Blog、Greg Brockman、techcrunch 等),属于近期高关注度行业信号。