基准测试相关 AI 资讯 · AITOP

8月12日

07:05

Jerry Liu@jerryjliu0

LlamaIndex推出ExtractBench，一个覆盖4869页、67种文档类型、8个真实领域的企业文档提取基准。该基准包含超过1k行的表格、嵌套表格、跨页表格、扫描件和手写文档等复杂情况。评测了14个系统，包括前沿VLM、编码智能体和专用提取API。关键发现是超过50页的文档中，商业VLM因静默列表截断导致召回率低于35%。同时发布LlamaParse新层级Agentic Plus，以95.6%的值准确率位居榜首，成本仅为最接近对手的三分之一。

事件专题

推荐理由：做文档提取的可以看看，LlamaIndex搞了个大基准，测了14个模型，发现长文档上大模型掉链子，还顺带出了个便宜又准的提取工具。

原文

8月11日

23:41

elvis@omarsar0

精选

Qodo发布了AI Code Review Academy，这是一套免费的代码审查学习章节，无需注册即可访问。其中基准测试与工具对比章节建议，评估审查工具时应使用真实生产环境的PR数据，并让所有工具在默认设置下运行。该章节引用2025年一项研究，同一模型在孤立基准测试中得分84-89%，但在真实代码库中仅得25-34%。Qodo建议用自己代码库的10-20个PR来测试候选工具。

技巧 Qodo 代码审查 AI Code Review Academy

推荐理由：Qodo出了个免费学院，专门教你怎么评估AI代码审查工具，不用注册就能看。里面讲清楚了基准测试怎么才算靠谱，还给了实测数据，挺实在的。

原文

23:31

Jerry Liu@jerryjliu0

精选

LlamaIndex 推出 ExtractBench，号称最全面的复杂企业文档信息提取基准。该基准测试了 14 个系统，包括前沿 VLM、编码智能体和专用提取 API，覆盖 370 份企业文档、4,869 页和 67 种文档类型。最大发现是超过 50 页的文档中，商业 VLM 因静默列表截断，召回率跌破 35%。ExtractBench 评估值准确率、长记录完整性、空间定位和每页成本，完全确定性且无需 LLM 评判。同时发布 LlamaParse 新层级 Agentic Plus，以 95.6% 值准确率位居榜首，成本仅为最接近对手的三分之一。

AI模型 ExtractBench LlamaIndex LlamaParse

事件专题

推荐理由：LlamaIndex 搞了个提取基准，测了 14 个系统发现长文档上 VLM 会悄悄丢行，还顺带出了个便宜三倍的提取服务，搞文档处理的值得看看。

原文

19:30

The Rundown AI@therundownai

Meta 在 AI 模型竞赛中重新发力，发布了一款新的推理模型。该模型在多项基准测试中表现突出，包括数学和代码生成任务。Meta 此举旨在与 OpenAI 和 Anthropic 等公司竞争。具体模型名称和详细性能数据尚未完全公开。

AI模型 Meta 推理模型基准测试

事件专题

推荐理由：Meta 又出新推理模型了，想看看它跟 GPT 和 Claude 比怎么样，这篇可以了解个大概。

原文

12:58

AK@_akhaliq

精选

SWE-Bench ProMax 是一个新基准，用于评估 AI 智能体在大规模多语言代码重构任务上的表现。该基准基于 SWE-Bench 扩展，覆盖多种编程语言，任务规模更大。论文已在 Hugging Face 发布，旨在测试智能体处理复杂重构的能力。初步数据显示，现有模型在该基准上仍有较大提升空间。

论文 SWE-Bench ProMax 代码重构智能体

推荐理由：想测测你的 AI 编程助手在多语言重构上到底行不行？这个新基准 SWE-Bench ProMax 就是干这个的，比原来的 SWE-Bench 更狠。

原文

11:53

官方账号arXiv cs.AI@Derin Gezgin, Jim O'Connor, Tanner Goodwin, Gary B. Parker

DSLE是一个容器化平台，将《黑暗之魂：重制版》的22个Boss战作为Gymnasium风格基准。DSLE-5子集包含5个代表性Boss，用于评估随机策略、专家系统、进化基线和PPO/DQN智能体。专家系统和进化基线分别以63%和43%的胜率击败教程Boss，但其他方法均未击败其余Boss。PPO和DQN在教程Boss上胜率最高仅0.33%，其余为0%。研究通过生存时间和伤害量报告失败案例。

论文 DSLE Dark Souls 强化学习

推荐理由：想测强化学习在硬核动作游戏里的极限？DSLE把黑暗之魂Boss战变成基准，PPO和DQN连教程Boss都打不过，看看专家系统怎么赢的。

原文

11:45

官方账号arXiv cs.AI@Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

Sci-VBench 是一个评估科学领域视频生成的新基准，包含 1,253 个专家标注示例，覆盖 60 个主题和四个学科。该基准要求模型生成具有科学推理和知识基础的视频，而非仅表面视觉合理性。研究显示，非专家评估者和 MLLM-as-Judge 系统与专家判断有较高一致性。对 16 个模型的测试发现，自动感知质量分数相近，但提示接地和科学因果正确性差异显著，且专有模型与开源模型差距明显。这表明视觉真实性的进步尚未转化为对科学和因果动态的可靠建模。

论文 Sci-VBench 视频生成科学推理

推荐理由：想知道视频生成模型在科学推理上有多靠谱？这个新基准测了 16 个模型，发现视觉好看不等于科学正确，专有和开源差距不小。

原文

07:32

lmarena.ai@lmarena_ai

MAI-Image-2.6 在图像模型竞技场综合排名升至第 2，前代 2.5 为第 10。3D 成像与建模从第 6 跃至第 1，卡通动漫与奇幻从第 8 升至第 2。产品、品牌与商业设计从第 7 升至第 2，文本渲染从第 8 升至第 2，艺术类别从第 4 升至第 2。摄影写实与电影图像从第 11 升至第 3，肖像类也从第 11 升至第 3。

AI模型 MAI-Image-2.6 MAI-Image-2.5 图像生成

事件专题

推荐理由：MAI-Image-2.6 在竞技场冲到第二，3D 建模直接第一，比 2.5 提升巨大，可以围观它的生成表现。

原文

02:00

OpenRouter@OpenRouterAI

OpenRouter 在 X 平台发布帖子，宣布其博客已更新公告内容。公告页面提供了相关的基准测试结果和详细说明。该帖子目前获得 1 次点赞、244 次浏览，暂无回复和转发。完整内容可访问 openrouter.ai/blog/announcem… 查看。

AI产品 OpenRouter 基准测试 AI API

推荐理由：OpenRouter 发了条公告，说博客里有更多详情和 benchmark，想了解发生了什么可以直接点进去看。

原文

01:30

lmarena.ai@lmarena_ai

Arena.ai 在 Code Arena: WebDev 上公布，闭源与开源模型的前沿分差已从 2025 年底的约 150 分压缩到约 10 分。在 Code Arena: Frontend 赛道，闭源领先优势曾扩大约 100 分，2026 年春季后收窄至约 40 分。开源阵营中，Muse Spark 1.2 预计将发布权重，Glimmer 也被视为影响排名的重要模型。官方完整分数会在 Arena.ai 放出。

AI模型 Code Arena Muse Spark Glimmer

推荐理由：开源快追上闭源了，WebDev 差距只剩 10 分，Muse Spark 1.2 还要放权重。

原文

00:32

a16z@a16z

精选

去年最佳计算机使用模型在真实桌面操作的标准基准上得分42%，如今最佳模型得分已达85%，而人类测试者在相同任务上得分约72%。数据来自a16z分析师Fabrizio Serafini、Seema Amble和Zephratic的调研，显示该领域在过去18个月取得显著进展。

AI模型计算机使用智能体 a16z 基准测试

推荐理由：a16z发了份计算机使用智能体的数据，一年前最强模型才42分，现在到85分了，比人类还高，想了解进展可以看这个。

原文

8月10日

10:27

官方账号arXiv cs.AI@Rodrigo Ferreira Rodrigues, Karim Radouane, Jose G Moreno, Lynda Tamine

GeoBenchLLM是一个评估大语言模型地理相关任务能力的基准，整合了12个公开数据集。该基准覆盖地理空间和时间理解两类任务，测试了多个主流LLM。结果显示，推理能力和模型尺寸对整体性能影响显著。基准代码已在GitHub公开。

论文 GeoBenchLLM LLM 地理空间

推荐理由：想测LLM的地理常识？这个新基准GeoBenchLLM用12个数据集考了主流模型，结论是模型越大、推理越强，GitHub上可跑。

原文

8月8日

13:46

lmarena.ai@lmarena_ai

Grok Imagine Image 2.0 (Low) 由 @SpaceXAI 发布，在 LMArena 图像编辑竞技场首次亮相即获第二名，得分 1439 分。相比 Grok Imagine Image Quality 的第 7 名，新模型排名提升 5 位。在按类别统计中，除 Art 外所有类别均列第二，Art 得分待更多投票后公布。

AI模型 Grok Imagine Image 2.0 Grok Imagine Image LMArena

推荐理由：Grok Imagine Image 2.0 (Low) 在图像编辑榜冲到第二，1439 分，比自家 Quality 版升了 5 位，值得一试。

原文

8月7日

23:43

lmarena.ai@lmarena_ai

相比Muse Spark 1.1，Muse Spark 1.2的HTML类别排名从第24位升至第8位。Gaming类别从第23位升至第13位。Frontend类别从第19位升至第13位。Data & Analytics类别从第13位升至第8位。

AI模型 Muse Spark 基准测试排行榜

推荐理由：Muse Spark 1.2的HTML排名一次升了16名直接进前十，写前端代码的可以关注。

原文

13:07

官方一手arXiv: OpenAI@Ro Encarnación, Tina Behzad, Emma Lurie, Danaé Metaxa

一篇arXiv论文审计了ChatGPT聊天界面与OpenAI API两种访问模态在有无网页搜索下的表现，样本含401个提示、共4812次响应。结果显示，关闭搜索时聊天界面在两个基准上的准确率均低于API；启用搜索使准确率下降最多8个百分点，甚至逆转了一个基准的模态趋势。同一提示重复三次，最多21%的提示出现不一致响应。作者认为安全评估应系统纳入模态、多次运行一致性、搜索条件和引用行为等因素。

论文 arXiv ChatGPT OpenAI API

事件专题

推荐理由：这篇论文用真实数据告诉你，同一个模型换种方式调用，成绩能差8个百分点，跑三次还不一样，评估AI安全时别只看一个数字。

原文

12:17

官方账号arXiv cs.AI@Varun Ursekar, Apaar Shanker, Yash Maurya, Shehab Yasser, Vijay S. Kalmath, Veronica Chatrath, Yuan Xue

论文提出 HarnessOpt-Bench，专门评测 LLM 在自动优化 agent harness（提示词、工具、控制流、记忆与编排代码）时的端到端表现。优化器需要在固定评估预算下修改种子 harness，并在搜索过程不可访问的测试分区上按归一化增益打分。实验覆盖 5 个前沿 LLM、4 个下游任务，共 111 次评分运行。结果显示，优化器模型之间的能力差异大于其所用的编码 harness 差异，原生 harness 并不总是更优，增益在不同任务和种子设定下波动明显。

论文 HarnessOpt-Bench 智能体提示词工程

推荐理由：想比较哪些大模型最会自己改提示词和工具编排？这个新基准用4个任务111次运行测了5个模型，结果挺反直觉。

原文

10:14

量子位@henry

卡帕西（Andrej Karpathy）公开推荐了一个名为“指环王基准”的大模型评测方案。该基准用《指环王》原著考察模型对长篇叙事的理解，而非简单问答。目前“指环王基准”尚未放出完整测试集和模型成绩，但已在开发者社区引发讨论。

AI模型指环王 Karpathy 基准测试

推荐理由：卡帕西推了个新基准，用《指环王》当考题测大模型，比枯燥的选择题有意思多了。

原文

07:46

官方账号Greg Brockman@gdb

Ethan Bloch在GPT-5.2上开展的个人财务AI实验获得良好结果。OpenAI的个人财务基准曾显示，从5.3到5.5版本有巨大提升，该实验如果今天运行成绩会更好。目前模型已推进到5.6，作者称虽无外部基准，但性能更优。

AI模型 GPT-5.2 OpenAI 个人财务

事件专题

推荐理由：OpenAI的人说GPT-5.6在个人财务上更强了，还有5.2的实验结果和5.3到5.5的基准对比，想了解AI理财能力的可以看。

原文

8月6日

21:51

官方账号Decoder@Maximilian Schreiner

阿里发布的Qwen3.8 Max在Artificial Analysis Intelligence Index上得分56，比上一代Qwen3.7 Max的46分高出10分。该分数追平了Claude Opus 4.8。但Kimi K3的得分更高，且成本低25%。

AI模型 Qwen3.8 Max Claude Opus 4.8 Kimi K3

事件专题

推荐理由：Qwen3.8 Max一口气涨10分追平Claude，但Kimi K3更便宜还更强，值得看。

原文

19:13

官方账号阿里通义 Qwen@Alibaba_Qwen

精选

Qwen3.8-Max在Artificial Analysis Intelligence Index上排名第五，并在Agentic Index上位列第一。该模型由阿里通义千问团队发布，当前基准成绩显示了其在智能体任务上的领先表现。团队表示将继续推进模型迭代。

AI模型 Qwen3.8-Max 通义千问智能体

推荐理由：阿里刚发的Qwen3.8-Max，智能体能力跑到第一了，总榜第五，想追新模型可以看看。

原文

09:49

官方账号arXiv cs.AI@Sihan Hu, Lyuhan Huang, Youjin Deng, Kun Chen

SciCode是评估语言模型科学编码能力的标准基准，但近期模型分数停滞在60%子问题准确率附近。研究者审计全部65个问题，发现263处缺陷，其中192处导致正确的指令遵循代码被误判。修正后推出SciCode-Verified，重新测试12个前沿模型，子问题准确率从45-60%升至84-98%，主问题准确率从9-27%升至69-92%。结果表明瓶颈在于基准质量而非模型能力。

论文 SciCode-Verified SciCode 科学编码

推荐理由：他们揪出了SciCode基准里的263个坑，修完后模型分数从60%直接飙到98%——原来不是模型笨，是考卷错了。

原文

09:45

官方账号Simon Willison@simonw

精选

Pelican基准虽然能力有限，但仍能直观展示同一模型家族的进步。Meta AI的Spark初版于4月8日发布，Spark 1.1在7月9日推出，而Spark 1.2于8月5日刚刚发布。Simon Willison用Pelican基准图对比了这三个版本，清晰呈现逐代改进。

AI模型 Spark Meta AI Pelican

推荐理由：Meta Spark到1.2了，Pelican基准图里三代对比很清楚，看一眼就懂这半年进步多大。

原文

01:48

AK@_akhaliq

精选

MerchantBench 是一个专门评测 LLM 智能体在电商运营中长期连贯性的新基准。MerchantBench 包含跨多轮任务的测试场景，用于检验智能体在长时间运营中的记忆与决策一致性。论文全文已发布在 Hugging Face 平台上。

论文 MerchantBench LLM 智能体

推荐理由：MerchantBench 专门测 LLM 智能体在电商里的长期连贯性，比单轮问答更贴近实际运营，可以看看。

原文

8月5日

23:09

Suhail@Suhail

Suhail 在 X 上提问：哪些公开可用的 LLM 基准测试足够可信，能展现模型之间的真实差距？截至当前，这条帖子有 4 条回复、1 次转发、3 个赞和 1777 次查看，另有 4 次收藏。提问未限定具体基准，而是希望获得社区认可的评测标准，以避开厂商自报成绩的干扰。

行业 Suhail X LLM

推荐理由：有人问哪些公开基准能看出模型真实差距，帖子下已有回复在讨论，想看别人怎么选评测可以参考。

原文

14:35

14:35IT之家（博客/媒体）

82°

OpenAI 联合创始人 Andrej Karpathy 于 8 月 2 日提出一项新基准测试：给模型《指环王》开篇文字，要求用 three.js 构建可交互 3D 场景。测试资源上限为 100 万 tokens，成本约 10 美元。Claude Opus 5 在该任务中耗时约 2 小时，输出约 5500 行代码。生成结果包含比尔博告别宴会和财宝洞穴等 3D 动画场景。

AI模型 Claude Opus 5 Karpathy 基准测试

事件专题

推荐理由：Karpathy 的新测试：让 Claude Opus 5 用 100 万 tokens 把《指环王》开头做成 3D 场景，2 小时生成了 5500 行代码。

原文

12:24

Geek@geekbb

75°

VulcanBench 用 23 个真实软件工程任务评测模型，Qwen3.8-Max 跑完全套成本 126.25 美元，DeepSeek V4-Flash 仅需 13.60 美元。Qwen3.8-Max 每个任务耗时 20-25 分钟，是测试中最慢的模型，固定预算下最佳设置只排中游，默认设置垫底。六个原本能解决的任务贡献了 26 分降幅的 83%，其中三个得分直接归零。在准确率上 Grok 4.5 领先，按每美元准确率 DeepSeek V4-Flash 很难被击败。

AI模型 VulcanBench Qwen3.8-Max DeepSeek V4-Flash

事件专题

推荐理由：VulcanBench 实测：Qwen3.8-Max 跑一趟 126 美元，DeepSeek V4-Flash 只要 13.6 美元，便宜 10 倍还更快。选性价比就 DeepSeek，选准确率就 Grok 4.5。

原文

8月4日

23:40

lmarena.ai@lmarena_ai

精选

LMArena 公布 DeepSeek-V4-Flash-20260731(High) 的五项关键信号。总体得分上升 1.98%，确认成功项提升 6.99%，好评对差评比增加 1.54%。可引导性下降 2.31%，Bash 恢复得分 2.53%，工具幻觉率 1.2%。数据来自竞技场真实用户反馈。

AI模型 DeepSeek DeepSeek-V4-Flash LMArena

事件专题

推荐理由：想知道 DeepSeek 最新版行不行？看这五个真实用户信号，总体涨近2%，确认成功涨7%，但可引导性跌了。

原文

12:20

官方账号arXiv cs.LG@Stefano Fiorini, Edoardo Coppola, Pietro Liò

该论文首次系统评测Sheaf Neural Networks在归纳学习下的表现，覆盖三种扩散机制、三种限制图参数化和三种茎维度。研究采用不组装重Sheaf拉普拉斯算子的消息传递重构，支持跨图批处理。作者在14个归纳数据集上完成1890组受控实验，发现限制图是主导设计选择，通用映射优于特殊映射。实验还显示，增大茎维度提升容量但无法增强长程信息传递，架构组件对性能差异的贡献超过Sheaf特定设计空间本身。匹配协议下SNN可迁移至归纳场景，但与最强基线仍有数据集相关的差距。

论文 Sheaf Neural Networks 图神经网络归纳学习

推荐理由：头回有人把Sheaf神经网络放到归纳任务里系统跑分，1890组实验，结论是调外围架构比调Sheaf算子更划算。

原文

09:30

官方账号arXiv cs.AI@Timothee Mickus, Claudio Savelli, Eduardo Calò, Emilio Raimond, Stella Frank, Hengyu Luo, Flavio Giobergia, Vincent Segonne, Chuyuan Li, Aman Sinha, Lorenzo Vaiani, Jörg Tiedemann, Raúl Vázquez

该研究构建了包含1,600个人类编写的幻觉样本数据集，覆盖中、英、法、意四种语言，并同时收集了来自五个视觉语言模型的18,400个样本进行对比。所有样本采用细粒度的跨度级标注方案来标记幻觉。实验发现，人类编写的样本在标注一致性上更高，且便于控制数据集内容，同时与模型生成样本在分布上保持相似。这表明人类数据可以替代模型生成的幻觉基准，用于更稳定的模型幻觉评估。

论文幻觉检测基准测试视觉语言模型

推荐理由：这篇论文用1,600个人类写的幻觉样本对比了18,400个模型生成的样本，发现人类样本更稳定、更好控制，以后测幻觉不用老换模型了。

原文

8月3日

16:19

16:19IT之家（博客/媒体）

Arena平台发布2026年第31周AI大模型排行榜。阿里qwen3.8-max以1496分位列综合榜第5，距榜首claude-fable-5仅差13分。月之暗面kimi-k3-max以1485分排综合榜第13。代码榜中，kimi-k3-max和qwen3.8-max分别以1531分和1530分进入Top10。前端开发榜kimi-k3-max以1676分排第二，字节seedream-5.0-pro进入AI生图榜第6名。

AI模型 qwen3.8-max claude-fable-5 kimi-k3-max

事件专题

推荐理由：阿里新模型qwen3.8-max一上榜就冲到综合第五，只比榜首Claude差13分；kimi-k3-max代码也进了前十，国产模型进步挺明显，榜单值得翻翻。

原文

09:39

官方账号arXiv cs.LG@Ismayil Ismayilov, Atakan Kara, Kaan Oktay

DungeonBench是一个面向D&D战斗的战术推理基准，覆盖2014版SRD中大部分战斗相关内容，保留行动经济、生物特性、战场几何等机制。基准分Encounter和Day两个轨道：Encounter评估单场战斗的局部战术，Day通过持久生命值、法术位、消耗品和短休息将战斗串联，考验资源调度。同一决策流支持启发式控制器、语言模型策略、学习型排序器和强化学习智能体。评测显示前沿语言模型策略在直接对战中常获胜，但在链接战斗日上暴露资源预算、休息时机和规则纪律的不足。

论文 DungeonBench D&D 战术推理

推荐理由：DungeonBench用D&D战斗测AI战术推理，分单场和连战两关，发现大模型会打单场却管不好资源，想测AI决策的可以看看。

原文

8月2日

01:06

Kevin Weil@kevinweil

78°

OpenAI 官网发布 Ten Advances in AI Reasoning 页面，公开十项推理评估结果。首席产品官 Kevin Weil 在 X 上转发，称每项结果都是领域内的重要进展。他祝贺 Sebastien Bubeck、Mark Chen 等团队，并展望全球用户都能用上该模型。页面可用来对比当前推理模型的评测表现。

AI模型 OpenAI 推理模型基准测试

事件专题

推荐理由：OpenAI把十个推理基准成绩一次性亮出来，Kevin Weil说是领域级结果。想了解新模型强在哪，直接翻这份榜单。

原文

8月1日

03:42

lmarena.ai@lmarena_ai

OpenAI 的 GPT-5.6 家族 Sol、Terra、Luna 已在 ChatGPT、Codex 和 API 中开始推出。在 LMArena 全栈代码竞技场中，Sol 以 1638 分排全栈第 3，总榜第 5；Terra 全栈 1579 分列第 10，总榜第 20；Luna 全栈 1568 分列第 14，总榜第 18。Opus 5 (Max) 即将加入全栈榜单。

AI模型 GPT-5.6 OpenAI LMArena

事件专题

推荐理由：OpenAI 的 GPT-5.6 三兄弟开测，Sol 全栈第 3，Terra 和 Luna 也进 top20，挑模型看这个。

原文

03:11

lmarena.ai@lmarena_ai

Thinking Machines 推出新模型 Inkling-Small。Inkling-Small 没有突破性能上限，但紧邻当前最强的几个模型。Thinking Machines 在官网发布了相关对比信息。

AI模型 Inkling-Small Thinking Machines 基准测试

事件专题

推荐理由：Thinking Machines 新出的 Inkling-Small 虽然没登顶，但官方给了它和头部模型的对比图，想了解它大概什么水平可看。

原文

02:55

lmarena.ai@lmarena_ai

精选

Arena.ai 今日发布 AutoEval，一种基于奖励模型的新评估方法，该模型由数百万条真实 Arena 用户偏好数据校准。AutoEval 与实时人工评估结果高度一致，能把模型评估耗时从数天缩短到数小时。它目前支持 Text、Vision、Image、Code 四个 Arena 榜单。新模型上线后，AutoEval 会直接在排行榜上给出估算分数。

AI模型 AutoEval Arena.ai 模型评估

事件专题

推荐理由：想快速了解新模型水平？Arena 用真实用户偏好做评估，比传统基准快几个数量级，看榜就行。

原文

7月31日

13:14

官方账号arXiv cs.AI@Zongyi Chen, Yu Liang, Jie Lin, Liansheng Wang

PathVU是一个面向病理图像细粒度多尺度视觉理解的基准，基于23个公共病理数据集构建，包含14个VQA任务、61,673张图像和308,070个样本，覆盖28个器官。该基准通过Region FOV和Slide FOV两种视野，评估模型的区域定位、视觉识别、数量估计、空间推理和上下文不足判断能力。对18个通用、医学和病理专用的多模态大语言模型评测显示，现有模型在细粒度视觉任务上存在明显局限。

论文 PathVU 病理图像多模态

推荐理由：PathVU这个新基准测了18个多模态模型，发现它们在病理图上连定位和数数都容易出错，搞医学AI的值得看看。

原文

12:57

官方账号arXiv cs.AI@Manyi Wang, Junjielong Xu, Pinjia He

PAIChecker是一个多智能体系统，用于检测SWE-bench类基准中PR与Issue配对不对齐的问题。研究者在SWE-bench Verified实例中发现13.6%存在不对齐，涵盖五种模式和十一个细粒度场景。PAIChecker采用三阶段设计，结合特定模式识别、跨智能体标签合成和代码级验证。在SWE-Gym和SWE-bench Multilingual上，该系统分别达到92.12%和91.67%的二元准确率，优于四种LLM后端。

论文 PAIChecker SWE-bench 多智能体

推荐理由：做代码基准测试的朋友可以看看，PAIChecker能自动揪出PR和Issue配错的情况，SWE-bench上准确率超九成。

原文

12:44

官方账号arXiv cs.LG@Haomin Qi, Xingliang Wang, Xuanqi Gao, Baihui Sang, Xin Zhang, Minghua Ma, Pengfei Gao, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

Change2Task是一个基于仓库历史将合并的拉取请求转换为已验证编码代理任务的系统。它通过补丁反转、代码映射或代理重建来重构任务状态，并验证从健康基线到任务状态再恢复的完整生命周期。从1,130个符合条件的源变更中，该系统在五类常见编码代理任务族上实现了79.6%的验证任务构建成功率。相比基于拉取请求的构造基线，在匹配候选集上多恢复了29.2%的验证任务。历史与重建案例在代理评估下达到98.0%的匹配结果一致性，复用现代基础使整体管道测量支出降低10.8%。

论文 Change2Task 编码智能体数据生成

推荐理由：想给编码代理搞训练数据？Change2Task用仓库历史自动生成可执行任务，成功率近八成，还能省下环境搭建开销。

原文

12:03

官方账号arXiv cs.AI@Dorian Quelle, Lisa-Maria Neudert, Jonathan Bright, John Gallacher

InfoOps Bench是一个持续更新的AI基准，用于衡量前沿语言模型是否会被国家支持的信息操作所利用。该基准基于追踪俄罗斯、中国和伊朗国家背景信息资产的监测管道，覆盖2,100多个信息操作案例。研究测试了8家提供商的17个模型，发现多数模型都能被诱导参与信息操作，完整性评分从8.8%到94.5%不等。模型选择会改变生成内容性质，部分模型会编造细节，事实核查率在2.9%至72.9%之间变化。除Z.ai的GLM 5.2外，中国开发的模型对中国批评性请求的遵从度大幅下降，最高降幅达70个百分点。

论文 InfoOps Bench GLM 5.2 AI安全

推荐理由：这个基准让你看到哪些大模型最容易被带偏去搞信息战，测了17个模型，差距能到85个百分点，挺颠覆直觉的。

原文

11:36

官方账号arXiv cs.AI@Hanzhang Zhou, Panrong Tong, Xu Zhang, Quyu Kong, Chenglin Cai, Tianyu Xia, Gongjie Zhang, Jianan Zhang, Long Li, Long Chen, Lei Wang, Gaole Dai, Pengxiang Li, Liangyu Chen, Yue Wang, Steven Hoi

Qwen-UI-Agent 是覆盖移动、电脑、网页和 DeepSearch 环境的 GUI 智能体，结合沙盒环境与真实设备移动运行时。其统一动作空间支持 GUI 操作与 CLI 执行交错，并可在单次模型回合中生成批量动作。AutoResearch 数据飞轮用智能体构建任务与环境，在线强化学习支持超过 100 步轨迹，在超过 10,000 个并发环境中训练。在基准测试中，移动端达到 MobileWorld 82.1%、MobileWorld-Real 92.2%、AndroidDaily 97.5%；电脑端 OSWorld-Verified 79.5%、WebArena 73.6%。

AI模型 Qwen-UI-Agent GUI智能体移动端

事件专题

推荐理由：Qwen 团队发了 UI-Agent，一个模型统一手机、电脑、网页操作，移动端跑分超 Opus 4.8，还能插命令行，挺能打。

原文