基准测试是一套标准化的评测任务与评分方法,用来在相同条件下比较模型、智能体或系统的能力高低。它既是 AI 行业衡量技术进步的标尺,也是厂商发布产品、投资方判断赛道、研究者定位方法的共同参照。当前这轮基准测试的明显变化是:评测对象从单轮问答转向长程任务和真实工作流,榜单与融资、产品发布的关系也越来越紧密。
基准测试的近期进展
评测正在向“职业级能力”靠拢。Surge 发布的 sudo L7 基准,直接以 Staff 级工程师的工作标准衡量 AI,试图回答模型能否独立承担高级工程职责,而非只做题。(Surge 发布 sudo L7 基准:衡量 AI 能否达到 Staff 级工程师水平)
榜单侧,Agent Arena 上线了完整的智能体排行榜,让不同智能体在同一框架下对照;与此同时,Salesforce Ventures 领投了 Arena 的 B 轮融资,说明基准平台本身已成为资本关注的基础设施。(Agent Arena 榜单上线,查看完整智能体排行榜、Salesforce Ventures 领投 Arena B 轮融资)
综合指数也在更新。Artificial Analysis 的智能指数 v5 定于 10 月下旬发布,Perplexity Decider V1.1 则登顶 DecisionBench 并保持最低成本,反映出“能力—成本”双维度评价正成为惯例。(Artificial Analysis 智能指数 v5 将于 10 月下旬发布、Perplexity Decider V1.1 登顶 DecisionBench,成本最低)
新基准开始覆盖更专门的能力。Mine Odyssey 用 Minecraft 重建真实地点来评测空间智能体,Epoch AI 为长程棋类基准 EBR-bench 增加了两种实验设定,Nous Research 则推出 Hermes Index 汇总模型性能基准平均值。(Mine Odyssey 基准用 Minecraft 重建真实地点评测空间智能体、Epoch AI 为长程棋类基准 EBR-bench 新增两种实验设定、Hermes Index:模型性能基准平均值)
当前焦点与观察点
争议集中在基准测试本身是否可靠。arXiv 上出现对 AI 安全基准的心理学审计,质疑测评设计是否真正测到了想测的东西;另一项针对法律大模型的研究,则比较模型引用的权威来源与其实际决策是否一致,指向“答对题”与“做对事”之间的落差。可见基准测试正在从拼分数,转向拼任务真实性、可复现性和与真实决策的吻合度。(AI安全基准测试的心理学审计、法律大模型引用权威与实际决策一致性研究)