Jason Wei 统计 2026 年前沿实验室基准报告频率分布
Jason Wei 把各家实验室都在报哪些基准拉了张清单。能看出 Scale AI 造基准的话语权有多大，OpenAI 又是最大的基准供应商。做模型评测或关注实验室动态的人都值得对照一下，看看自己追的榜单是谁出的。
前 OpenAI 研究员 Jason Wei 发布了一份"benchmark benchmark"，统计了 2026 年 12 家前沿实验室报告中使用的基准频率分布。
HLE、SWE-Bench Pro、DeepSWE 和 Terminal-Bench 实现了全量采用，12 家实验室全部报告这四项。其中 Scale AI 背后参与了四个中的两个（SWE-Bench Pro 和与 CAIS 合作的 HLE），另外还有排名第 9 的 MCP-Atlas。
OpenAI 是实验室中最活跃的基准生产者，出品了 SWE-bench Verified、BrowseComp、GDPval；Anthropic 只有 BioMysteryBench 一项上榜，且几乎无人使用。
学术机构方面，Princeton（SWE-bench、CharXiv）、Stanford（Terminal-Bench）、Berkeley（CyberGym、Agents' Last Exam）和 NYU（GPQA）表现突出。
DeepSWE 从 6 月首次出现到被全部 12 家实验室报告，一年内 Terminal-Bench 更迭代了 2.0 到 4.
0 四个版本。
Created a "benchmark benchmark": a frequency distribution of which benchmarks were reported by the frontier labs in 2026: https://t.co/GswjxqWz1c
Some observations: - HLE, SWE-Bench Pro, DeepSWE, and Terminal-Bench saw universal adoption - Scale AI is behind two of those four (SWE-Bench Pro, HLE w/ CAIS), plus MCP-Atlas (#9 benchmark) - Of the frontier labs, OpenAI is the most prolific benchmark producer (SWE-bench Verified, BrowseComp, GDPval); people don't seem to mind evaluating on a benchmark made by a competitor - Anthropic has just one on the chart (BioMysteryBench) that basically nobody uses 🤔 - In academia, strong showings from Princeton (SWE-bench, CharXiv), Stanford (Terminal-Bench), Berkeley (CyberGym, Agents' Last Exam), and NYU (GPQA) - DeepSWE saw incredible adoption, from first appearing in June to all 12 labs reporting it - Labs cycled through four versions of Terminal-Bench (2.0 → 4.0) in a single year
本条情报归属 AITOP「行业」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：SWE-bench、Terminal-Bench、HLE、DeepSWE，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「Jason Wei」（@_jasonwei），经 AITOP 多维评分管线结构化提炼。
