事件专题 ·多源确认

OpenAI 研究:模型越强,CoT 监控越难

OpenAI 研究员 Jeffrey Wang 发布新研究,考察思维链(CoT)可监控性在模型训练生命周期中的演变,包括 no-CoT 能力与 CoT 可控性两个维度。研究发现:随着模型能力随训练规模提升,通过 CoT 监控模型行为正变得越来越困难。研究将可监控性拆解为能力与可控性两条线,为定位这种失控发生在训练哪个阶段、以何种机制出现提供了实验框架。作者承认许多问题尚未有答案,但认为这是研究 CoT 可监控性衰减的一个可行起点,对依赖 CoT 监控做 AI 安全对齐的团队是直接的警示信号。

当前结论

OpenAI 的这项研究发现模型能力越强,思维链越难当监控窗口用,等于给靠 CoT 做安全审计的团队敲了警钟。做对齐、评估或想理解推理模型黑箱机制的人应该看看这条推文串,里面把问题拆成了可量化的两个维度。

11 个信源61° AI 热度最后更新 2026/11/11 20:44:14

证据链

11 个信源
相关来源 1arXiv: Google DeepMind
查看原文
相关来源 9Latent Space (swyx)
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。