OpenAI 研究:模型越强,CoT 监控越难
OpenAI 的这项研究发现模型能力越强,思维链越难当监控窗口用,等于给靠 CoT 做安全审计的团队敲了警钟。做对齐、评估或想理解推理模型黑箱机制的人应该看看这条推文串,里面把问题拆成了可量化的两个维度。
OpenAI 研究员 Jeffrey Wang 发布新研究,考察思维链(CoT)可监控性在模型训练生命周期中的演变,包括 no-CoT 能力与 CoT 可控性两个维度。
研究发现:随着模型能力随训练规模提升,通过 CoT 监控模型行为正变得越来越困难。研究将可监控性拆解为能力与可控性两条线,为定位这种失控发生在训练哪个阶段、以何种机制出现提供了实验框架。
作者承认许多问题尚未有答案,但认为这是研究 CoT 可监控性衰减的一个可行起点,对依赖 CoT 监控做 AI 安全对齐的团队是直接的警示信号。
Recommended read. They find that increasingly intelligent models are harder to monitor through their CoT. Lots of things remain unanswered, but this is a nice setup for studying how and where this emerges. Jeffrey Wang @jeffreygwang (1/10) Today, we’re sharing new research from @OpenAI : How does CoT monitorability (no-CoT capability and CoT controllability) evolve over the model training lifecycle? We emerged with unsurprising but sobering findings: as we scale toward more intelligent systems, models are becoming harder to monitor through their CoT. 🧵 🔗 View Quoted Tweet📊 9 ⚡
本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「中美大模型技术代差与商业化对照」「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:OpenAI、思维链、推理模型、AI安全,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「elvis」(@omarsar0),经 AITOP 多维评分管线结构化提炼。