TensorTonic 从第一性原理讲清评测:同一模型换评分和框架,排行榜结论可能翻转
做评测或看排行榜的人应该收藏这篇。同一套 Claude Opus 4.5 换个运行框架加修正评分,CORE-Bench 从 42% 涨到 95%,说明很多榜单比的是配套不是模型。还讲清了 pass@k、误差区间和弃答率怎么读,GPT-5 系统卡的 SimpleQA 例子很直观。
TensorTonic 发布长文,基于 Anthropic、OpenAI 和 Google DeepMind 的公开材料,讨论模型评测方法论的核心问题:排行榜评的其实是模型加配套(工具、提示词、循环)的整体,而非模型本身。文中引用 CORE-Bench 的数据:同一套 Claude Opus 4.5 起初只得 42%,换到 Claude Code 框架后到约 78%,再修正过严评分、含糊说明和无法复现的题目后达到 95%。
文章解释了 pass@k 与 pass^k 的区别:前者是 k 次至少成功一次,适合可迭代修补的编程场景;后者是 k 次全部成功,适合直接面向用户的场景。单次成功率 75% 时跑 3 次,两者分别约 98% 和 42%。排行榜还常省略误差区间:500 道题、80% 得分的 95% 区间约在 76.5% 到 83.5%,与 82% 的另一模型无法区分。
OpenAI 在 GPT-5 系统卡中给出 SimpleQA 的对比:旧 o4-mini 弃答仅 1%,答对 24%、答错 75%;gpt-5-thinking-mini 弃答 52%,答对 22%、答错 26%。只看准确率旧模型略高,错误量却是后者的三倍。作者引用 Anthropic 今年 1 月的观点:完整记录是过程,结果只是结束后的真实状态,两者经常对不上,订票助手说已订好但数据库里没有订单,只看最后一句话会放过说谎的系统。
TensorTonic「从第一性原理讲清评测」:同一模型换评分和配套,排行榜结论就可能翻转 来自 @TensorTonic 的分享,作者先读了 Anthropic、OpenAI 和 Google DeepMind 的公开文章再写下看法,起草和核对数字时用了 AI。 评的是模型和配套一起 文中借用 Anthropic 今年 1 月的说法:完整记录是过程,结果是结束后的真实状态,两者经常对不上。订票助手可以说“已经订好了”,数据库里却没有订单;只看最后一句话,就会放过说谎的系统。评一个“智能体”,评的其实是模型加上它的配套(工具、提示词和循环),配套变好,分数同样会动。因此应当评真正要紧的结果,而不是预定路径。 CORE-Bench 上,同一套 Claude Opus 4.5 起初只有 42%;换更宽松的运行框架,并修正过严评分、含糊说明和无法复现的题目后,到了 95%。更细的过程是,换到 Claude Code 后先到约 78%,再修评分才到 95%。框架变化本身就占了很大一块。 多跑几次,还要看误差和规则 模型输出不稳定,只跑一次意义不大。pass @k 是 k 次里至少成功一次的概率,适合可以多试几次再留下能过测试的补丁;pass^k 是 k 次全成功的概率,更适合直接面向用户的场景。单次成功率 75%、跑 3 次时,前者大约 98%,后者大约 42%。排行榜还常省略误差:500 道题、得分 80%,95% 区间大约在 76.5% 到 83.5%;另一模型得 82%,单看这两个数字还分不出谁更好。 OpenAI 写过,多数基准只分对错,猜永远比说“我不知道”更划算。GPT-5 系统卡在 SimpleQA 上的数字是:旧的 o4-mini 只在 1% 的题上弃答,答对 24%,答错 75%;gpt-5-thinking-mini 弃答 52%,答对 22%,答错只有 26%。只看准确率,旧模型还略高一点,错得却大约是后者的三倍。分数只告诉你失败有多频繁,只有完整记录能分清,是模型错了,还是评分器把合理答案判错了。 TensorTonic @TensorTonic x.com/i/article/2122… 🔗 View Quoted Tweet📊 6 ⚡
本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:模型评测、Claude Opus 4.5、GPT-5、CORE-Bench,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「shao__meng」(@shao__meng),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 lmarena.ai、掘金本周最热、Lenny Rachitsky 等),属于近期高关注度行业信号。