PutnamBench 是一个用于评估形式化定理证明能力的基准测试集,收集了普特南(Putnam)数学竞赛题目并以 Lean 等证明助手语言形式化,被视为衡量 AI 数学推理与自动证明水平的公认标尺之一。随着大模型证明系统快速进步,这一基准正逼近饱和,也催生了更难的后续基准。
PutnamBench 上的模型最新成绩
基准饱和与替代基准的出现
EasyProver 相关论文指出,现有系统在 Lean 定理证明基准上已逼近饱和,并据此推出了难度更高的 Aegis 基准(arXiv:2610.38174)。这意味着 PutnamBench 的区分能力正在下降,587/672 这类成绩的边际意义变小,社区需要更难的竞赛级或研究级题目来区分模型的真实水平。
当前焦点与观察点
围绕 PutnamBench 的讨论已经从"谁能解题"转向三个问题:其一是基准饱和后如何设计更有区分度的新基准(如 Aegis);其二是简单方法与复杂工作流孰优孰劣,h1 的结果提示评估可能高估了工程复杂度的价值;其三是开源模型(如 Leanstral 1.5)能否在低成本条件下持续缩小与闭源系统的差距。观察者可关注新基准的题目来源与形式化质量,以及模型成绩的可复现性。