benchmark

benchmark（基准测试）是用统一题目与评分规则衡量 AI 模型能力高低的标准化评估手段，也是各家新模型发布时绕不开的成绩单。随着模型能力不断逼近老基准的天花板，这个领域正从单纯“跑分”转向更贴近真实任务的评估方式。

benchmark 近期进展

Anthropic 的 Opus 5.5 与 OpenAI 的 GPT 6 被整理成一张成绩对比图，两款最新旗舰在多项 benchmark 上互有胜负，头部模型的差距已缩窄到很难靠单一榜单分出高下。(一张图对比 Opus 5.5 与 GPT 6 的 Benchmark 成绩)

一项 arXiv 论文检视电路评估方法，发现其结论可复现、成功率也不错，却解释不了模型实际犯错的原因，暴露出当前评估工具在可解释性上的缺口。(论文研究电路评估方法：可复现成功却解释不了模型错误)

FinAutoRubric 提出由专家引导、自动生成评分标准的方案，用于金融研究 Agent 的自动评测，显示评估对象正从答题模型转向执行任务的智能体。(FinAutoRubric：专家引导的金融研究 Agent 自动评分标准生成)

a16z 与 AI 助手基准测试者展开对谈，探讨个人智能体的兴起会如何改变评测的出题与打分方式。(AI助手基准测试者探讨个人智能体爆发)

围绕 benchmark 的争论集中在三点：一是老榜单接近饱和，高分不再等于好用；二是训练数据污染让成绩可信度受到质疑；三是智能体时代需要能度量长流程、多步骤任务的新基准与评分体系。对普通用户来说，榜单可以参考，但结合自身场景的实测反馈，往往比分数更能说明一个模型是否合用。