OpenAI 公布内部困惑度数据,提议将其作为跨模型比较的共同指标
训练损失的数字门槛被 OpenAI 摊开讲了:0.8 以下解锁网络安全和数学能力,0.68-0.7 可能带来下一个能力跃迁。做模型评测或安全治理的人都该看看这套度量提议,它可能成为榜单之外的另一种行业标准。
OpenAI 首次公布其内部困惑度(perplexity)测量数据,并提议将困惑度作为各模型开发者之间共享的比较指标。数据显示 GPT-3.5 的 log-perplexity 约为 0.99,GPT-4 降至约 0.91。
OpenAI 在文中给出了具体的能力阈值:当损失(loss)降到 0.8 以下时,模型在网络安全和数学领域能力明显增强;而约 0.68-0.7 的区间被认为是带来进一步变革性能力的窗口。这些数字首次让外界可以用同一把尺子衡量不同代际模型的内部进展。
OpenAI 还提出了一套面向开发者的共同上限方案,在 AI 监控技术达到具体里程碑之前持续生效。如果其他模型开发者(如 Anthropic、Google)接受这一度量框架,行业将出现一个不依赖基准测试榜单的、基于内部训练指标的能力比较方式。
OpenAI published its internal perplexity measurements and proposes perplexity as a shared metric to compare model developers
GPT-3.5 was at a log-perplexity of ~0.99, GPT-4 at ~0.91, and losses below 0.8 brought capabilities in cybersecurity and mathematics
Further transformative capabilities are expected in the ~0.68-0.7 window
Proposed common limits for developers would hold until AI monitoring reaches a concrete milestone
https://t.co/0ig0hiTFcs
本条情报归属 AITOP「行业」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「中美大模型技术代差与商业化对照」「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:OpenAI、GPT-4、困惑度、AI安全,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Tibor Blaho」(@btibor91),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 rohanpaul_ai、The Information、Bindu Reddy 等),属于近期高关注度行业信号。