Benchmarking（基准测试）是指用统一的任务集和量化指标来评估 AI 模型或系统能力的方法，是衡量大模型进步、比较不同厂商产品的核心手段，也日益成为学术界和产业界专门投入资源的独立方向。随着模型能力快速迭代，如何设计更难、更可靠、不易被'刷分'的测试，正成为行业共识性难题。
benchmarking 近期进展
当前焦点与观察点
目前的讨论集中在三个层面。其一是可信度：随着训练数据污染和针对性优化，传统基准（如各类考试类数据集）区分度持续下降，社区转向 ARC-AGI 这类抗污染、强调泛化的新任务。其二是标准化：NVIDIA 对推理指标的官方定义被业界视为对'各家数字口径不一'的纠偏，但采纳程度仍有待观察。其三是生态化：从 ARC Prize 与 Snorkel 的线下活动，到 Epoch AI 设立专职工程师岗位，评估工作正从模型发布后的附属环节，演变为有资金、有组织、有职业路径的独立领域。
值得关注的观察点包括：金融、医疗等高风险垂直行业是否会建立自己的权威 benchmark；第三方评估机构与模型厂商之间的独立性如何维持；以及推理成本类指标能否像准确率一样成为公开比较的常规维度。benchmarking 的竞争，本质上是'谁来定义模型好坏'的话语权之争，这一格局在 2026 年前后仍会持续演变。