PutnamBench

concept · 首次出现 2026-06-05 · 最近出现 2026-11-01 · 累计提及 14

综述

PutnamBench 是一个用于评估形式化定理证明能力的基准测试集,收集了普特南(Putnam)数学竞赛题目并以 Lean 等证明助手语言形式化,被视为衡量 AI 数学推理与自动证明水平的公认标尺之一。随着大模型证明系统快速进步,这一基准正逼近饱和,也催生了更难的后续基准。

PutnamBench 上的模型最新成绩

  • Mistral AI 于 2026 年 7 月发布开源模型 Leanstral 1.5,采用 Apache-2.0 协议,为 119B 参数的 MoE 架构 Lean 4 代码智能体,在 PutnamBench 上解出 672 道题中的 587 道,同时创下多项基准纪录,且使用成本较低。参考 Mistral AI发布Leanstral 1.5:Apache-2.0的Lean 4代码Agent可解587道Putnam题 与 面向数学形式化证明:Mistral AI 发布 Leanstral 1.5 低使用成本开源模型。
  • Meta 与 NYU 的论文显示,一个简单的循环策略 h1 在 Lean 证明任务上追平了复杂的手工工作流,说明基准上的领先未必来自复杂工程。参考 Meta 与 NYU 论文:简单循环 h1 在 Lean 证明上追平手工工作流。
  • 除了 Putnam 级别的题目,Goedel-Architect(arXiv:2606.06468)通过蓝图生成与精炼推进形式化证明,Pythagoras-Prover(arXiv:2606.12594)则借助增强的 Lean 形式化提升证明效率。
  • 基准饱和与替代基准的出现

    EasyProver 相关论文指出,现有系统在 Lean 定理证明基准上已逼近饱和,并据此推出了难度更高的 Aegis 基准(arXiv:2610.38174)。这意味着 PutnamBench 的区分能力正在下降,587/672 这类成绩的边际意义变小,社区需要更难的竞赛级或研究级题目来区分模型的真实水平。

    当前焦点与观察点

    围绕 PutnamBench 的讨论已经从"谁能解题"转向三个问题:其一是基准饱和后如何设计更有区分度的新基准(如 Aegis);其二是简单方法与复杂工作流孰优孰劣,h1 的结果提示评估可能高估了工程复杂度的价值;其三是开源模型(如 Leanstral 1.5)能否在低成本条件下持续缩小与闭源系统的差距。观察者可关注新基准的题目来源与形式化质量,以及模型成绩的可复现性。

    相关报道

    8 条在档