OpenAI 开放模型训练内审,METR、Apollo、Transluce、Goodfire 四家机构获访问权
OpenAI 把自家训练现场开给四家外部机构看,METR 还会公开写报告,这在头部实验室里算是头一回这么深。Apollo 派 6 个人驻场 4 个月查模型会不会绕过监控。做安全研究或关心模型评估的朋友可以盯着 METR 后续发布。
OpenAI 启动"第一阶段"嵌入式评估,允许外部安全机构介入模型训练过程。METR 将获得 OpenAI 最大规模强化学习运行的转录文本和模型快照,并计划公开发布评估结果。Apollo Research 则派驻 6 名评估员在 OpenAI 驻留 4 个月,专门测试模型是否会绕过监控其行为的系统。
OpenAI 同时点名 Transluce 和 Goodfire 参与这一阶段。Transluce 的任务是审查 OpenAI 的对齐测试是否足够彻底;Goodfire 则提供能在训练过程中读取模型内部状态的工具。The Information 今日报道,OpenAI 一位高管今年夏天曾提议以 50 亿美元以上的价格收购 Goodfire。
这套多机构交叉评估的做法与 Anthropic 等公司此前的外部红队模式类似,但把外部人员直接嵌入训练环节属于更深的访问层级。对安全研究者和监管关注方而言,METR 的公开承诺意味着第三方将首次能看到大模型强化学习运行的原始材料。
OpenAI also named Transluce and Goodfire as part of the "first phase" of embedded assessments. Transluce will check how thorough OpenAI’s alignment tests really are, and Goodfire is bringing tools that read what’s happening inside a model while it trains. A report today from The Information revealed that a senior OpenAI exec floated buying Goodfire this summer for $5B+. The Rundown AI @TheRundownAI NEW: OpenAI is letting two outside AI safety groups, METR and Apollo Research, look inside its model training to check whether its AI behaves as intended. Apollo is placing six evaluators at OpenAI for four months to test whether models try to work around the systems meant to watch them. METR gets transcripts and model snapshots from OpenAI’s largest reinforcement learning run, and plans to publish what it finds. 🔗 View Quoted Tweet📊 5 ⚡
本条情报归属 AITOP「行业」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「各国 AI 监管法案、合规治理与主权算力政策」「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:OpenAI、METR、Apollo Research、Goodfire,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「The Rundown AI」(@therundownai),经 AITOP 多维评分管线结构化提炼。