事件专题 ·多源确认

TensorTonic 从第一性原理讲清评测:同一模型换评分和框架,排行榜结论可能翻转

TensorTonic 发布长文,基于 Anthropic、OpenAI 和 Google DeepMind 的公开材料,讨论模型评测方法论的核心问题:排行榜评的其实是模型加配套(工具、提示词、循环)的整体,而非模型本身。文中引用 CORE-Bench 的数据:同一套 Claude Opus 4.5 起初只得 42%,换到 Claude Code 框架后到约 78%,再修正过严评分、含糊说明和无法复现的题目后达到 95%。 文章解释了 pass@k 与 pass^k 的区别:前者是 k 次至少成功一次,适合可迭代修补的编程场景;后者是 k 次全部成功,适合直接面向用户的场景。单次成功率 75% 时跑 3 次,两者分别约 98% 和 42%。排行榜还常省略误差区间:500 道题、80% 得分的 95% 区间约在 76.5% 到 83.5%,与 82% 的另一模型无法区分。 OpenAI 在 GPT-5 系统卡中给出 SimpleQA 的对比:旧 o4-mini 弃答仅 1%,答对 24%、答错 75%;gpt-5-thinking-mini 弃答 52%,答对 22%、答错 26%。只看准确率旧模型略高,错误量却是后者的三倍。作者引用 Anthropic 今年 1 月的观点:完整记录是过程,结果只是结束后的真实状态,两者经常对不上,订票助手说已订好但数据库里没有订单,只看最后一句话会放过说谎的系统。

当前结论

做评测或看排行榜的人应该收藏这篇。同一套 Claude Opus 4.5 换个运行框架加修正评分,CORE-Bench 从 42% 涨到 95%,说明很多榜单比的是配套不是模型。还讲清了 pass@k、误差区间和弃答率怎么读,GPT-5 系统卡的 SimpleQA 例子很直观。

11 个信源38° AI 热度最后更新 2026/11/16 04:29:07

证据链

11 个信源
相关来源 2掘金本周最热
查看原文
相关来源 3Lenny Rachitsky
查看原文
相关来源 10阿里通义 Qwen
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。