主要来源elvis
查看原文事件专题 ·多源确认
OpenAI 研究:模型越强,CoT 监控越难
OpenAI 研究员 Jeffrey Wang 发布新研究,考察思维链(CoT)可监控性在模型训练生命周期中的演变,包括 no-CoT 能力与 CoT 可控性两个维度。研究发现:随着模型能力随训练规模提升,通过 CoT 监控模型行为正变得越来越困难。研究将可监控性拆解为能力与可控性两条线,为定位这种失控发生在训练哪个阶段、以何种机制出现提供了实验框架。作者承认许多问题尚未有答案,但认为这是研究 CoT 可监控性衰减的一个可行起点,对依赖 CoT 监控做 AI 安全对齐的团队是直接的警示信号。
当前结论
OpenAI 的这项研究发现模型能力越强,思维链越难当监控窗口用,等于给靠 CoT 做安全审计的团队敲了警钟。做对齐、评估或想理解推理模型黑箱机制的人应该看看这条推文串,里面把问题拆成了可量化的两个维度。
11 个信源61° AI 热度最后更新 2026/11/11 20:44:14
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。