Jason Wei 统计 2026 年前沿实验室基准报告频率分布

前 OpenAI 研究员 Jason Wei 发布了一份"benchmark benchmark"，统计了 2026 年 12 家前沿实验室报告中使用的基准频率分布。HLE、SWE-Bench Pro、DeepSWE 和 Terminal-Bench 实现了全量采用，12 家实验室全部报告这四项。其中 Scale AI 背后参与了四个中的两个（SWE-Bench Pro 和与 CAIS 合作的 HLE），另外还有排名第 9 的 MCP-Atlas。OpenAI 是实验室中最活跃的基准生产者，出品了 SWE-bench Verified、BrowseComp、GDPval；Anthropic 只有 BioMysteryBench 一项上榜，且几乎无人使用。学术机构方面，Princeton（SWE-bench、CharXiv）、Stanford（Terminal-Bench）、Berkeley（CyberGym、Agents' Last Exam）和 NYU（GPQA）表现突出。DeepSWE 从 6 月首次出现到被全部 12 家实验室报告，一年内 Terminal-Bench 更迭代了 2.0 到 4.0 四个版本。