基准测试相关 AI 资讯 · AITOP

AITOPAI热报

7月31日

06:44

官方账号OpenAI@OpenAI (@OpenAI)

ARC-AGI-3基准测试要求模型无需指令学习不熟悉的2D游戏。标准测试丢弃了GPT-5.6 Sol每步后的推理，并在上下文填满时丢弃早期动作。这导致模型无法积累有效经验，只能不断重启。测试结果凸显了长上下文维持对推理模型的关键性。

事件专题

推荐理由：ARC-AGI这个测试挺刁钻，GPT-5.6 Sol在没法记住之前推理的情况下学不会新游戏，说明长上下文对推理很重要。

原文

06:11

lmarena.ai@lmarena_ai

Agent Arena 的评分基于数百万来自全球用户的真实长期智能体任务。模型可使用网络搜索、文件系统和终端工具完成复杂工作流。排行榜使用因果追踪方法测量模型相对于平均模型的结果表现。详细方法可在 arena.ai/leaderboard/ag 查看。

AI模型 Agent Arena 智能体基准测试

推荐理由：想知道你的模型在真实任务里啥水平？Agent Arena 用数百万实际任务和工具调用测试，结果很客观。

原文

05:38

lmarena.ai@lmarena_ai

71°

Arena.ai 发布新评估方法 AutoEval，使用基于数百万真实用户偏好训练的奖励模型对 AI 模型进行排名。该方法与人工评估高度对齐，速度从数天缩短至数小时。AutoEval 支持 Text、Vision、Image 和 Code 等多个基准。新模型将直接在排行榜上显示 AutoEval 预估分数，加速社区获取结果。

AI模型 Arena.ai AutoEval 奖励模型

事件专题

推荐理由：Arena.ai 搞了个新评估 AutoEval，用千万用户偏好打分，几小时出结果，比人工快多了，排行榜直接看分数。

原文

02:23

lmarena.ai@lmarena_ai

精选

LMSYS Arena 推出 AutoEval，一种在完整评测结果出炉前比较候选模型检查点的早期信号。实验显示，当两个模型的 Arena 分数差≥10 分时，AutoEval 在超过 90% 的案例中正确识别出更高分模型；分数差≥15 分时，对所有测试对均正确排序。

AI模型 AutoEval LMSYS Arena 模型评估

推荐理由：如果你经常在评测结果出来前纠结选哪个检查点，AutoEval 能提前帮你判断，分差够大时几乎不出错。

原文

01:17

向阳乔木@vista8

用户vista8在X平台发文称，Claude opus/sonnet 4.6仍是目前最佳的写作模型，其中sonnet 4.6表现更突出。他指出，当前大模型竞相提升编码能力，而Claude opus 5虽然在Benchmark上刷榜，但实际写作体验不如前代。他认为大模型并非越新越好。

AI模型 Claude opus 5 sonnet 4.6 写作模型

推荐理由：vista8实测发现Claude sonnet 4.6写作比opus 5更好用，喜欢写东西的别只追新。

原文

7月30日

15:47

官方账号Decoder@Matthias Bastian

82°

OpenAI声称其GPT-5.6 Sol模型在ARC-AGI-3基准测试中通过自定义测试环境获得38.3%的分数，高于Anthropic Opus 5的30.2%。但在官方标准环境下，GPT-5.6 Sol仅得7.8%，远低于Opus 5的30.2%。OpenAI的定制测试保留了推理链和上下文压缩作为辅助手段，而Opus 5在无辅助下完成。这一差异引发了关于基准测试公平性的讨论。

AI模型 GPT-5.6 Sol Opus 5 ARC-AGI-3

事件专题

推荐理由：OpenAI推出GPT-5.6 Sol，在自定测试里赢了Anthropic的Opus 5，但换官方环境就掉到7.8%，差距挺大。

原文

11:22

官方账号arXiv cs.AI@Julien Benchek, Austin Bennett, Jasmin Kern, Ryan Stevens, Rene Sultan, Charis Ching, Hayley Popiel, Vaibhav Mittal, Felix Mercier, Brendan Foody, Bertie Vidgen

Mercor联手Ramp发布APEX-Accounting，内含160个会计任务，覆盖对账、费用计提等真实工作。九个前沿模型参与测试，Claude-Fable-5 (Max)以56.4% Mean Criteria@3领先Muse-Spark-1.1 (xHigh)的52.6%。最高Pass@8仅21.5%（Muse-Spark-1.1），GPT-5.6-Sol (Max+Pro)的Pass^8为2.6%。实验发现辛普森悖论：提高token预算提升总分，但预算受限时高token消耗任务得分更低。

AI模型 APEX-Accounting Claude-Fable-5 Muse-Spark-1.1

事件专题

推荐理由：想看看AI到底能不能做会计？新出的APEX-Accounting基准拿160道真实会计题考了九个模型，最强Claude Fable-5才56%，离实际干活还差得远。

原文

10:58

官方账号arXiv cs.AI@Xuanze Chen, Xukang Xie, Wentao Fu, Jiajun Zhou, Shanqing Yu, Qi Xuan

MemSecBench是一个任务驱动的基准，用于评估智能体记忆系统的生命周期安全，包含310个案例，覆盖代码、科学、日常生活和办公等48个真实场景。该基准采用Write-Execute-Forget协议，在24种配置组合（2种智能体框架、4种记忆后端、3种LLM后端）下测试。结果显示恶意记忆在84.2%的案例中持续存在，完整攻击成功率为50.3%。成功中毒案例中，59.6%完成完整执行链，56.1%实现选择性修复。与原生配置相比，攻击成功率最大差异达16.1个百分点，选择性修复差异达41.3个百分点。

论文 MemSecBench 智能体安全记忆中毒

推荐理由：这篇论文搞了个MemSecBench，专门测AI记忆会不会被黑，结果84%的案例恶意记忆都能长存，而且不同记忆系统差别很大，做AI安全的朋友应该看看。

原文

10:38

官方账号arXiv cs.AI@Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

Setoka基准基于认知与人格心理学理论，定义了用户理解的四个层次：语义记忆、情景记忆、行为模式和人格特质。该基准通过心理测量学流程合成异构用户数据与查询，用于评估记忆增强型个性化智能体。研究评估了3种语言模型结合5种记忆系统在10个合成用户上的表现，发现现有系统在语义记忆检索上表现良好，但在情景记忆上性能下降；在处理行为模式和人格特质理解任务时，由于需要整合碎片化信息，性能进一步下滑。

AI模型 Setoka 智能体用户理解

推荐理由：如果你想了解现有AI智能体到底能多深地理解用户，这个新基准Setoka用心理学理论和方法测出了它们的短板——不只是翻聊天记录，还要推断行为和性格。

原文

09:15

官方账号arXiv cs.LG@Paula Cordero Encinar, Taylan Cemgil, Arnaud Doucet, Virginia Aglietti, Silvia Chiappa

BayesAME是一种贝叶斯主动模型评估框架，能自动确定评估大型生成模型所需的核心子集大小。它通过定义潜在能力变量和联合先验分布来建模性能，利用信息增益准则迭代选择项目。在多个基准上的实验表明，BayesAME一致优于现有方法的顺序适应版本。研究还证实非随机核心子集选择优于随机选择，且使用连续响应对数似然能显著提升估计精度。

论文 BayesAME 模型评估核心子集

推荐理由：这篇论文提出了BayesAME，能自动算出评估模型需要多少数据，比手动定大小更准更省事。

原文

05:09

宝玉@dotey

75°

Cline团队让Kimi K3进行自我迭代改进，在17小时内将Terminial Bench评测分数从77.5%提升至88.8%。同时每轮成本从79美元降低至49.8美元。但评论指出这并非模型自我进化（修改权重），而是Agent利用明确验收标准优化Harness的过程。优化后的Harness只对自身Benchmark有效，未必证明通用性能提升。

AI模型 Cline Kimi K3 Terminial Bench

事件专题

推荐理由：Cline让Kimi K3自己当工程师优化测试框架，17小时得分从77.5%涨到88.8%，成本还降了快一半，挺有意思的实验。

原文

7月29日

11:59

官方账号arXiv cs.AI@Abhishek Pillai, Samir Kumar Nayak, Yuan Chen

Desktop-Delta Bench (DDB) 是一个离线步骤级基准，包含2,013个人工验证的实例，覆盖约15个应用和50个任务域。DDB通过463个三帧时序排序实例（含105个跨轨迹干扰）和1,550个前后对比对来评估模型。在8个闭源和开源模型家族、32个排序和16个单动作设置中，最佳非干扰和干扰精确匹配率分别为65.1%和65.7%。单动作结果显示，推断动作类型比定位更难：点击F1为0.96，拖拽为0.76。DDB填补了GUI定位与最终任务成功之间的诊断空白。

论文 Desktop-Delta Bench 计算机使用模型 GUI代理

推荐理由：想测试你的桌面Agent到底能不能分清操作后的界面变化？这个新基准有2000多个真实案例，能看出模型在哪类失败上翻车。

原文

11:13

官方账号arXiv cs.AI@Rui Yang, Weihao Xuan, Yi Lin, Zhuhan Bao, Jonathan Chong Kai Liew, Matthew Yu Heng Wong, Nicolás Lescano, Nikita R. Paripati, Emily Ling-Lin Pai, Jiarui Liu, Heli Qi, Heng-Jui Chang, Benny Kai Guo Loo, Huitao Li, Kunyu Yu, Yufan Wang, Chuan Hong, Shijian Lu, Douglas Teodoro, Naoto Yokoya, Ross Koppel, Mona Diab, Hua Xu, David W. Bates, Nan Liu, Yifan Peng

ClinMM-Bench是迄今最大的多轮多模态临床诊断评估基准，包含1089个真实临床案例和3760张医学图像，覆盖8个专科。研究使用两级评估框架，对15个代表性多模态大模型进行诊断准确性和推理质量评测。结果显示，专有模型总体准确率最高，但完全正确诊断的比例仍很低。错误分析识别出信息整合失败、知识映射错误、感知错误、过早闭合和视觉幻觉五种典型失败模式。

论文 ClinMM-Bench 多模态大模型临床诊断

推荐理由：临床诊断AI评估有新基准了！1089个真实案例、3760张影像，15个模型测试下来发现，再好的模型完全正确诊断率也不高，而且容易犯信息整合错误和视觉幻觉。

原文

09:14

官方一手arXiv: DeepSeek@Guiling Guo, Jia Yang, Jiahao Xu, Shuyuan Zheng, Zhonghai Sun, Qiyuan Li

GraphRareBench是一个保留来源的基准，包含2,365个本体派生案例和18,093对目标-混淆对。在237个案例的基因组分测试集上，监督排序器MRR范围为0.640-0.740，目标-混淆准确率为0.898-0.916。基于Agents-A1和DeepSeek-V4-Flash的智能体MRR分别为0.746和0.718，但证据覆盖率差异达0.561。22.1%到43.7%的成功案例中仍存在硬混淆者排名高于目标。该基准可用于评估模型在完全集检索和硬混淆区分上的表现。

论文 GraphRareBench Agents-A1 DeepSeek-V4-Flash

事件专题

推荐理由：想测AI罕见病诊断能力？GraphRareBench用2365个案例和18093对混淆，专门检测模型能不能分清真病和假病。

原文

03:02

官方账号Anthropic@AnthropicAI

精选

Anthropic 与苏黎世联邦理工学院、特拉维夫大学和海法大学合作开发了 CryptanalysisBench，这是一个专门评估 LLM 密码分析能力的基准。该基准旨在系统测试模型在经典密码学任务上的表现，例如破解简单加密、识别加密算法等。相关论文已发布在 arXiv (2607.18538)。

AI模型 Anthropic CryptanalysisBench 推理模型

事件专题

推荐理由：Anthropic 和欧洲几所高校搞了个新基准，专门测大模型破解密码的本事，比单纯看推理能力更有针对性。

原文

02:00

lmarena.ai@lmarena_ai

xAI宣布Grok 4.6将于8月7日发布，下周将在Arena亮相。同时，Grok-4.5在Agent Arena排行榜上基于9.8K次实时代理会话获得第13名，相比Grok 4.3的第29名有显著提升。Grok-4.5在Bash Recovery任务上取得重大进展，追赶上了Anthropic和OpenAI的模型，确认任务成功率大幅提高。这一排名显示了Grok系列在代理性能上的进步。

AI模型 Grok Agent Arena 推理模型

事件专题

推荐理由：xAI发了Grok 4.6发布预告，同时4.5在Agent Arena上冲到了第13名，比4.3进步了16名，尤其Bash Recovery能力追上了Claude和GPT，推荐关注。

原文

01:15

lmarena.ai@lmarena_ai

精选

Code Arena 新增全栈开发能力评测，涉及多步推理、工具调用和端到端应用生成。Kimi K3 (Max) 排名第一，GPT 5.6 Sol (xHigh) 第二，Claude Fable 5 第三。榜单完整排名可在 arena.ai 查看。

AI模型 Kimi K3 GPT 5.6 Sol Claude Fable 5

事件专题

推荐理由：Code Arena 刚上线了全栈能力排行榜，Kimi K3 拿了第一，GPT 5.6 和 Claude Fable 紧随其后，想比模型写代码能力的可以看看。

原文

7月28日

12:23

官方账号arXiv cs.AI@Ali Ansari, Yasmin Mohammadi, Farnoush Nili, Parsa Esmaeilkhani, Longin Jan Latecki, Eduard Dragut

ERUnderstand是首个大规模评估视觉语言模型（VLM）对实体关系图（ERD）结构化理解能力的基准，包含2960张来自教育、真实世界和合成数据源的图。测试发现常见元素F1>0.74，但弱实体F1低至0.28，多值属性仅0.14，N元关系仅0.07。使用推理增强的模型整体提升15%-25%，但仍受语言先验和复杂度影响。基准、数据、工具和生成代码已开源。

论文 ERUnderstand Vision-Language Models Entity-Relationship Diagrams

推荐理由：想测VLM能不能看懂ER图？这个新基准用2960张图挨个打分，弱实体和N元关系掉得厉害，读论文就能知道差距在哪儿。

原文

11:02

官方账号arXiv cs.AI@Weihuang Zheng, Tianyuan Zou, Eileen Ye, Alphet Liu, Youyong Kong, Ya-Qin Zhang, Duran Zheng, Maxm Pan

E-Bench是一个完全合成的基准，包含323个状态改变任务，覆盖Honor of Kings、QQ Music和Tencent Meeting三个产品领域。它通过图引导数据库填充创建可复用环境，并利用生成器-求解器不对称设计迫使智能体发现隐藏信息并组合多次工具调用。结果通过数据库状态差异确定性评分。评测11个前沿LLM，最强模型的Pass^3低于60%，在E-Bench-Code扩展下仍低于70%，说明多步工具使用对当前模型依然困难。

论文 E-Bench 多步工具使用智能体

事件专题

推荐理由：想知道多步工具调用到底多难？E-Bench测了11个模型，最强不到60%通过率，还特意选了王者荣耀、QQ音乐和腾讯会议场景。

原文

05:21

lmarena.ai@lmarena_ai

精选

LMSys Chatbot Arena 引入新排名“Factuality”，结合人类偏好与事实准确性。Claude Opus 5 with Max reasoning 在 Text Arena 中位居第一。该排名通过抽取响应、提取可验证声明并逐对检查正确性来审计对战。Factuality 现已作为非默认切换选项在 Text 和 Search Arena 中上线。

AI模型 Claude Opus 5 LMSys Chatbot Arena Factuality

推荐理由：如果你看重模型回答的准确性，LMSys 新出的事实性排名很有参考价值。Claude Opus 5 这次在最重视事实的榜单上拿了第一，比之前只看人类偏好的排名更实在。

原文

01:10

Cognition@cognition_labs

精选

Cognition 发布 FrontierCode 1.1 Extended 基准，用于评估真实工程任务的合并性与质量。Kimi K3 在该基准上取得 58.2% 的得分和 63.6% 的通过率。在 Devin 环境下，Kimi K3 在复现漏洞和环境管理方面表现突出。该结果来自 devin.ai/blog/kimi-k3。

AI模型 Kimi K3 Devin FrontierCode

事件专题

推荐理由：Kimi K3 在真实工程任务基准上拿了 58.2%，而且在 Devin 里特别擅长修 bug 和管理环境，值得做开发的看看。

原文

00:41

elvis@omarsar0

精选

该论文通过近6000次配对运行，在两个办公自动化基准和三个模型栈上对比有技能和无技能的Agent。研究发现添加程序化技能会导致任务回归率显著上升，最佳技能主要通过减少回归来区分自身。论文识别了三种失败机制：技能描述渗透、基础位移和验证位移。现有技能几乎全是程序性的，程序化引导反而较少导致失败。

论文 Agent技能智能体程序化技能

推荐理由：这篇论文用大量实验告诉你，加技能反而可能让Agent变笨。三种坑要记住：技能描述渗透、基础位移、验证位移。别再盲目加技能了

原文

7月27日

11:56

官方账号arXiv cs.AI@Yifei Zhao, Xiangxin Zhou, Wenhao Yang, Jiaqi Tang, Pu Jian, Huanjin Yao, Jiarui Yao, Haowei Lin, Chunchao Guo, Zhuo Chen, Wenkai Lyu, Jianzhu Ma, Xueqian Wang, Wenxi Zhu

SceneActBench 是一个评估视觉语言模型（VLM）代理在3D场景中行动能力的基准，包含5个任务，覆盖210个源实例和520个任务案例。每个任务在统一的代理-环境循环中运行，使用任务特定的几何指标评估最终输出。在11个专有VLM配置上测试，总体得分范围为38.6到50.2，没有任何配置在所有任务上表现一致。论文分析了失败模式，指出当前模型在多对象3D场景中的行动能力仍有显著不足。

论文 SceneActBench 3D场景视觉语言模型

推荐理由：想测测视觉语言模型能不能真在3D空间里干活？SceneActBench给你5个任务、520个案例，开源又公平，看哪个模型分高。

原文

11:01