事件专题 ·多源确认

OpenAI 公布内部困惑度数据,提议将其作为跨模型比较的共同指标

OpenAI 首次公布其内部困惑度(perplexity)测量数据,并提议将困惑度作为各模型开发者之间共享的比较指标。数据显示 GPT-3.5 的 log-perplexity 约为 0.99,GPT-4 降至约 0.91。 OpenAI 在文中给出了具体的能力阈值:当损失(loss)降到 0.8 以下时,模型在网络安全和数学领域能力明显增强;而约 0.68-0.7 的区间被认为是带来进一步变革性能力的窗口。这些数字首次让外界可以用同一把尺子衡量不同代际模型的内部进展。 OpenAI 还提出了一套面向开发者的共同上限方案,在 AI 监控技术达到具体里程碑之前持续生效。如果其他模型开发者(如 Anthropic、Google)接受这一度量框架,行业将出现一个不依赖基准测试榜单的、基于内部训练指标的能力比较方式。

当前结论

训练损失的数字门槛被 OpenAI 摊开讲了:0.8 以下解锁网络安全和数学能力,0.68-0.7 可能带来下一个能力跃迁。做模型评测或安全治理的人都该看看这套度量提议,它可能成为榜单之外的另一种行业标准。

11 个信源74° AI 热度最后更新 2026/11/22 17:08:48

证据链

11 个信源
相关来源 2The Information
查看原文
相关来源 8François Chollet
查看原文
相关来源 10TestingCatalog
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。