MiniF2F-test 是形式化数学与自动定理证明领域广泛使用的基准测试集,专门衡量 AI 系统在 Lean、Isabelle 等证明助手环境下自动完成奥数级定理证明的能力,常被视为该方向模型推理水平的试金石。近年来,围绕这一基准的模型迭代明显加快,开源方案与高效架构不断刷新成绩。
MiniF2F-test 近期进展
2024 年以来,多个工作试图降低自动定理证明的算力门槛。Pythagoras-Prover 提出仅用 4B 参数便在 MiniF2F-test 上超越 DeepSeek-Prover-V2-671B,参数效率成为新的竞争维度(Pythagoras-Prover:高效形式化证明,4B模型超越DeepSeek-Prover-V2-671B)。NanoProof 则走全开源路线,基于 Lean 4 提供可复现的证明器实现,弥补了此前多数强模型不开源的缺口(NanoProof:全开源的 Lean 4 自动定理证明器)。
在生成范式上,Diffusion-Proof 尝试用扩散模型替代自回归解码,探索定理证明中非顺序生成的可行性(Diffusion-Proof:超越自回归生成的形式定理证明新框架)。Goedel-Architect 则从证明蓝图出发,先生成高层结构再精炼细节,报告了 MiniF2F-test 上的新突破(Goedel-Architect:通过蓝图生成与精炼实现形式化定理证明新突破)。
另一条线索关注评测可靠性本身。信号覆盖矩阵工作指出,语句自动形式化中的类型错误与语义错误需要分层处理,形式化质量直接影响证明器在 MiniF2F-test 上的最终表现(信号覆盖矩阵:语句自动形式化中的类型与语义错误分层)。
当前焦点与观察点
当前焦点集中在三点:一是参数规模与证明能力的解耦,4B 级模型能否稳定匹敌数百 B 模型;二是生成范式的多样化,扩散与蓝图方法能否在 MiniF2F-test 之外泛化;三是全开源与可复现性,基准分数之外社区更关注训练数据与证明脚本是否公开。需要留意的是,各工作对 MiniF2F-test 的评测协议未必统一,直接比较分数存在风险,后续观察点应放在标准化评测与跨基准验证上。