基准测试相关 AI 资讯 · AITOP

7月14日

01:38

lmarena.ai@lmarena_ai

78°

GPT-5.6 Sol在Agent Arena排行榜上以7800次真实世界智能体会话位列第二。相比GPT-5.5 (xHigh)净提升1.6%。与榜首Claude Fable 5的差距主要来自“表扬 vs 投诉”信号，后者得分+17.3%，GPT-5.6 Sol为+10.9%。Agent Arena基于数百万真实世界长周期任务，使用因果追踪方法评估。GPT-5.6系列（Sol, Terra, Luna）已开始在ChatGPT、Codex和API中推出。

事件专题

推荐理由：OpenAI的GPT-5.6 Sol在Agent Arena上冲到第二，比前代进步明显，和Claude Fable 5差距缩小了，想看看真实任务中模型表现的话值得关注。

原文

7月11日

08:32

lmarena.ai@lmarena_ai

GPT 5.6 Sol与Fable在3D生成任务上进行头对头测试。测试覆盖了数十个最难的提示词。结果由YouTube博主@petergostev发布。

AI模型 GPT 5.6 Sol Fable 3D生成

推荐理由：Peter Gostev用几十个最难提示词比了GPT 5.6 Sol和Fable的3D生成，看谁更强。

原文

7月10日

17:08

Stanford AI Lab@StanfordAILab

精选70°

斯坦福AI实验室提出LLM-as-a-Verifier框架，通过细粒度评分（1-20级代替1-5级）、logprob分布期望、重复评估和标准分解等方法，提升验证扩展效果。在Terminal-Bench V2、SWE-Bench Verified、RoboRewardBench和MedAgentBench四个Agent基准上取得SOTA。细粒度信号还可用于测试时扩展、强化学习和Agent监控，提高样本效率。

AI模型 LLM-as-a-Verifier 斯坦福AI实验室智能体

推荐理由：斯坦福团队搞了个新框架，不用传统评分，用细粒度验证加logprob分布，直接刷了四个Agent基准的SOTA，还能顺便提升RL效率。

原文

13:03

AI Will@FinanceYF5

在 Artificial Analysis Coding Agent Index 上，GPT-5.6 Sol 以 80.0 分刷新最高纪录，比 Claude Fable 5 的分数高出 2.8 分。GPT-5.6 Sol 的输出 Token 少于 Claude Fable 5 的一半，耗时也少于一半。其成本约低三分之一。这项成绩体现了 GPT-5.6 Sol 在编码智能体任务上的效率优势。

AI模型 GPT-5.6 Sol Claude Fable 5 Artificial Analysis Coding Agent Index

事件专题

推荐理由：GPT-5.6 Sol 这次在编程智能体评测上确实猛，分数更高还更快更便宜，值得看看。

原文

12:18

官方账号arXiv cs.AI@Yifan Zhou, Qihao Yang, Yan Li, Donggang Li, Xiru Hu, Hokin Deng, Ziyang Gong, Xuanyi Zhou, Huacan Wang, Xiangchao Yan, Wanghan Xu, Wenlong Zhang, Shaofeng Zhang, Yue Zhou, Yifan Yang, Zhihang Zhong, Xue Yang

该论文提出IdeaGene-Bench (IG-Bench)基准，包含1,961条黄金谱系轨迹、1,085个Idea Genome对象和920个pairwise GenomeDiff记录，覆盖10个科学领域。IG-Exam含42个任务类型、1,029个实例，用于封闭式谱系推理；IG-Arena使用种群进化得分(PES)评估生成质量。在14个LLM科学家的测试中，最强系统仅达到27.3%的精确准确率，且结构化谱系上下文会打乱模型排名。该研究揭示了当前AI在科学思想继承与变异推理上的组合瓶颈。

论文 IdeaGene-Bench 科学谱系推理想法生成

推荐理由：这篇论文拿IdeaGene-Bench测了14个LLM，最强也只有27.3%准确率，而且加谱系信息反而搞乱排名。想看看AI离真正理解科学进化还有多远？读它。

原文

11:57

官方账号arXiv cs.AI@Manuel Pita

葡萄牙国家语言模型AMALIA（9B参数）在标注道德基础“权威”时，与人类编码者一致性达与8-13倍大小模型相差6个F1点。但通过“恢复间隙”方法发现，分解提示后AMALIA仅恢复约一半性能，错误分析显示它依赖表面相关捷径（如对权威人物的道德愤怒）。多语言开源模型在相同葡萄牙语语料库上能缩小此差距，表明问题不在语料库本身。研究认为主权LLM基准应测试证据路线而非仅一致性。

论文 AMALIA LLM数据标注道德基础

推荐理由：这篇论文用一个具体案例（葡萄牙语AMALIA）揭露了LLM做数据标注的隐患：表面一致但内在无效，对做标注或评测的人很有启发。

原文

06:49

06:49IT之家（博客/媒体）

91°

OpenAI 发布 GPT-5.6 系列，包含 Sol、Terra、Luna 三档模型，价格从每百万 token 输入 1 美元到 5 美元不等。旗舰版 Sol 在 Terminal-Bench 2.1 上标准模式得分 88.8%，超过 Claude Mythos 5 的 88.0%，开启 Ultra 模式后达 91.9%。微软 CEO 纳德拉宣布 Copilot Chat、Cowork、M365、GitHub 和 Foundry 同步上线该模型。

AI模型 GPT-5.6 Sol OpenAI

事件专题

推荐理由：OpenAI 出了 GPT-5.6 系列，分三档定价，最贵的 Sol 编程跑分超 Claude Mythos 5，微软 Copilot 也直接用上了。想试试新模型可以看看。

原文

05:57

官方账号OpenAI@OpenAI

88°

OpenAI 发布 GPT-5.6 Sol，在 Artificial Analysis Coding Agent Index 上取得 80.0 分，比此前 SOTA Claude Fable 5 高出 2.8 分。该模型输出 token 数不到一半，运行时间缩短一半以上，成本降低约三分之一。这是编码智能体领域的新标杆。

AI模型 GPT-5.6 Sol OpenAI Claude Fable 5

事件专题

推荐理由：OpenAI 新模型 GPT-5.6 Sol 真强，编码基准甩开 Claude Fable 5，还更快更便宜。

原文

02:19

elvis@omarsar0

GPT-5.6 Sol 在多项基准测试中取得最高分，其推理成本仅为竞争对手的一半以下。该模型相比 GPT-4 系列在效率上有显著提升，具体数字尚未完全公开，但性能数据已引起关注。测试覆盖了数学推理、代码生成等关键领域。

AI模型 GPT-5.6 Sol OpenAI 推理模型

事件专题

推荐理由：OpenAI 的 GPT-5.6 Sol 比对手便宜一半还得分最高，搞 AI 的朋友值得看看这个新动向。

原文

7月9日

21:37

官方账号Decoder@Maximilian Schreiner

精选73°

OpenAI 审查了 SWE-Bench Pro 基准测试，发现约30%的任务存在缺陷。该公司已在官网上撤回对该测试的先前认可。SWE-Bench Pro 常被用于评估AI模型（如 GPT-4）的编程能力，但OpenAI指出许多任务存在数据污染或描述不清的问题。

行业 OpenAI SWE-Bench Pro 基准测试

事件专题

推荐理由：OpenAI自己查了SWE-Bench Pro，发现三成测试题有毛病，所以不认这个榜了。做AI编程的可以看看。

原文

14:50

14:50IT之家（博客/媒体）

精选

Artificial Analysis 新增 6 个行业指数测试，Claude Fable 5 在全部 8 项指标中排名第一。Claude Opus 4.8 六项第二，GPT-5.5 xhigh 拿下剩余两项第二。开放权重模型 GLM-5.2 在 5 个行业指数中领先，工程基准得 53 分。成本方面，Claude Fable 5 在战略与运营指数中每任务成本 3.48 美元，是 DeepSeek V4 Pro max（0.03 美元）的 116 倍，性能仅高 12 分。DeepSeek V4 Flash 成本低于 0.04 美元，得分处于中游。

AI模型 Claude Fable 5 DeepSeek V4 Pro GPT-5.5

事件专题

推荐理由：想选行业AI模型？Claude Fable 5 碾压全场，但成本是 DeepSeek V4 Pro 的百倍，性能只多 12 分，性价比得掂量。

原文

09:23

shao__meng@shao__meng

88°

OpenAI 审计发现 SWE-Bench Pro 中约30%的任务存在致命缺陷，包括过严测试、题面欠指定、低覆盖测试和误导性题面。此前公开731题上，前沿模型通过率八个月内从23.3%升至80.3%，但分数飙升主要源于评测噪声而非能力提升。OpenAI 采用自动化质检、人机协同深审和人工标注三层流程，人工审核更常判出“坏题”（约30%）。OpenAI 因此撤回对 SWE-Bench Pro 的推荐，呼吁社区设计更可靠、难刷的编程评测基准。

行业 SWE-Bench Pro OpenAI 基准测试

事件专题

推荐理由：OpenAI 发现一个流行代码基准有30%的题有问题，分数虚高，直接影响了部署和安全判断。做评测或选模型的人得看这个。

原文

05:30

官方账号OpenAI@OpenAI

精选78°

OpenAI对SWE-Bench Pro进行了审计，发现该基准存在约70%的噪音上限，已无法可靠衡量前沿编码能力。该基准在业界广泛使用，但目前已被认为饱和。OpenAI决定撤回之前推荐研究社区使用该基准作为主要编码评估的建议。

行业 OpenAI SWE-Bench Pro 基准测试

事件专题

推荐理由：OpenAI发现SWE-Bench Pro这个编码基准有70%噪音上限，已经饱和了，不再适合用来衡量最强AI编码能力。

原文

05:27

官方账号OpenAI@OpenAI

OpenAI 在推特上指出，随着编码模型不断进步，现有的评估基准已不足以衡量真实进展。他们强调需要设计更难的测试、更公平的对比和更可靠的结果。这条观点引发社区对当前基准如 SWE-bench 等是否仍有效的讨论。

行业 OpenAI 编码模型基准测试

事件专题

推荐理由：OpenAI 自己说现在的编码测试太简单了，得加点难度和公平性。搞 AI 写代码的可以看看基准怎么改。

原文

03:12

Qdrant@qdrant_engine

精选

Elastic的基准测试声称Qdrant 1.18.1在磁盘搜索上慢7倍，但Qdrant指出测试未开启其两项磁盘优化功能。开启优化后，Qdrant实现2倍吞吐量、一半延迟和1/3计算资源消耗。测试在K8s网络附加存储上进行，Elasticsearch 9.4.1使用DiskBBQ算法，Qdrant 1.18.1。Elastic延迟120-150ms，Qdrant在开启优化后延迟更低。

AI产品 Qdrant Elastic 向量数据库

推荐理由：Qdrant刚发了博客回应Elastic的测试，发现对方没开它的优化功能，一开就反超了：吞吐量翻倍，延迟减半，计算资源只要三分之一。想选向量数据库的可以看看。

原文

7月8日

22:25

量子位@思邈

RoboDojo新基准测试发布，人类表现100分，最强AI模型仅获12.8分。该基准包含200个具身智能任务，覆盖抓取、导航、操作等场景。当前模型在长时序任务和细粒度控制上明显落后于人类。测试揭示了机器人在泛化能力和物理交互方面的核心瓶颈。

AI模型 RoboDojo 具身智能基准测试

推荐理由：RoboDojo这个新基准把人类和模型放到同一考场，人类满分100，最强模型才12.8，差距大到离谱，值得看看模型到底在哪栽跟头。

原文

12:15

官方账号arXiv cs.AI@Chase McDonald, Nathan Tsang, Wesley N. Kerr

FootsiesGym 是基于 HiFight 的极简 2D 格斗游戏 Footsies 构建的开源环境，用于研究双人零和不完美信息游戏中的循环非传递策略互动。该环境提供向量化模拟器，可在标准硬件上实现高吞吐量训练。论文对多种强化学习算法进行了基准测试，并讨论了开放研究方向。代码已开源在 GitHub。

论文 FootsiesGym HiFight 强化学习

推荐理由：想研究格斗游戏AI？这个新基准FootsiesGym基于极简游戏Footsies，自带高效模拟器，适合强化学习训练和对比。

原文

09:53

官方账号arXiv cs.AI@Grace Man Chen, Litao Guo, Yifan Wu, Yiyu Chen, Yenchi Tseng, Sicheng Liu, Yuyu Luo, Ying-Cong Chen

论文提出UI2App基准，专门评估从截图推断交互行为的能力，无需文本或行为指导。基准包含327张截图，分为45个状态一致组，用于多路由网页应用。评估沿四个维度：可执行性、导航可达性、视觉保真度和交互推理，其中交互指标(IIS)按功能正确性和状态管理复杂度评分。在6个前沿视觉语言模型上，视觉保真度领先者仅得7.5的IIS，落后IIS冠军5.2倍；半数模型在高复杂度跨页面状态交互上得零。结果显示从静态截图推断完整交互行为仍是关键挑战。

论文 UI2App 基准测试交互推理

推荐理由：想测测视觉语言模型能不能只看截图就生成可交互的网页应用？这篇论文提出了UI2App基准，发现模型在视觉还原上还行，但交互推理差得远，最高分才7.5。

原文

05:25

Ate-a-Pi@svpino

该基准测试评估前沿模型处理儿童安全风险的能力，覆盖12个风险类别，包括诱骗、冒充、描述未成年人和情感依赖。测试了5个前沿模型，失败率在2%到34%之间。这是首个针对非显式虐待风险的评估。现有评测仅捕捉显式滥用，完全忽略此类问题。论文链接附于推文中。

论文儿童安全基准测试前沿模型

推荐理由：想看看AI模型在安全上有多不靠谱？这个基准测了5个前沿模型在12类儿童非显式风险上的表现，失败率最高34%。

原文

05:19

OpenRouter@OpenRouterAI

OpenRouter 发布博客对比推理模型与非推理模型在不同细节设置下的成本与性能。推理模型推荐保持 auto 或 high 细节以保留精度；非推理模型设为 low 细节可真实节省费用和延迟，但需接受准确度损失。博客附有详细基准表格和每模型分表，帮助用户按需选择。

技巧 OpenRouter 推理模型成本优化

推荐理由：OpenRouter 实测告诉你：非推理模型调低细节真的能省钱省时间，但推理模型别省，自己看表格选策略。

原文

01:18

Gary Marcus@GaryMarcus

心理学家Gary Marcus在世界科学节（WorldSciFest）的一场视频讨论中指出，LLM存在固有局限性，仅靠扩大规模无法实现真正推理。他认为当前基准测试因心理测量学因素（如题目过拟合）而失效，无法反映模型真实能力。Marcus主张神经符号AI（Neuro-Symbolic AI）可能引领下一代AI范式，结合符号推理与神经网络。该视频包含对AI发展方向的深入分析。

行业 Gary Marcus LLM 神经符号AI

推荐理由：听Gary Marcus用神经符号AI挑战主流LLM，看完你会重新思考AI基准测试的真相。

原文

7月7日

16:48

@koltregaskes@koltregaskes

Meta新模型Watermelon在基准测试中达到GPT-5.5（4月发布）水平。但该模型仍在训练中，无发布日期，若再需2-3个月发布，OpenAI可能已有更新模型。Meta为此投入10倍于上一代模型的计算资源。Zuckerberg承认AI代理开发未达预期，导致8000人裁员。Meta今年AI基础设施预算高达1450亿美元，回报尚未显现。

AI模型 Watermelon GPT-5.5 Meta

事件专题

推荐理由：Meta新模型Watermelon虽追上GPT-5.5，但发布慢、烧钱多，AI代理也不及预期，看看它们怎么追赶。

原文

11:07

官方账号arXiv cs.AI@Zefeng Wang, Minxi Yan, Jinhe Bi, Sikuan Yan, Volker Tresp, Yunpu Ma

MetaSkill-Evolve提出双时间尺度框架，使智能体技能改进递归化：任务技能在快循环演化，元技能（分析、检索、分配、提议、进化五组件）在慢循环自我应用。在OfficeQA、SealQA和ALFWorld三个基准测试上，该方法相比无技能基线分别提升+23.54、+16.09和+1.92个点。所有组件共享单一冻结骨干模型，无需额外模型或目标。

论文 MetaSkill-Evolve 智能体自我改进

推荐理由：这篇论文让AI智能体不仅能学技能，还能自动改进改进方法本身，在三个测试集上都有明显提升，挺有意思。

原文

00:54

官方一手AWS Machine Learning Blog@Mona Mona

Amazon SageMaker AI发布了与MLflow的新集成，支持将优化推理推荐任务和基准任务的指标、参数和图表实时流式传输到无服务器MLflow App。用户无需手动导出数据，即可在统一界面跟踪实验。此集成简化了模型评估和部署流程，提升了A/B测试和模型比较的效率。

技巧 MLflow Amazon SageMaker AI 基准测试

推荐理由：用SageMaker跑基准和推荐任务，结果自动流到MLflow，省去手动导出的麻烦，做实验跟踪更省心了。

原文

7月6日

13:00

Gary Marcus@GaryMarcus

Nature Medicine发表评论指出，医疗AI的基准测试高分容易被误认为实际就绪。该研究以GPT-5.5 Pro为例，其在测试中超过99.9%的医生，但缺乏真实世界临床验证。研究强调当前仅有模拟、病例脚本和患者演员，性能指标仍需改进。结果已开源发布，并被独立确认。

论文 GPT-5.5 Pro 医疗AI Nature Medicine

推荐理由：别被医疗AI的高分骗了，Nature Medicine这篇研究告诉你基准测试和真实临床差距有多大。

原文

7月4日

01:36

lmarena.ai@lmarena_ai

Anthropic重新部署的模型在Arena上通过Fable 5测试集，涉及60多项复杂3D生成、小游戏和世界构建任务。该模型由@petergostev进行评测，结果展示在YouTube视频中。测试覆盖了高难度3D场景生成和交互式世界构建。

AI模型 Anthropic Fable 5 3D生成

事件专题

推荐理由：Anthropic的模型又升级了，一口气通过了60多项3D生成和世界构建测试，挺能打的。

原文

00:33

官方账号Decoder@Matthias Bastian

精选

英国AI安全研究所(AISI)在涵盖7项基准测试的研究中发现，标准评估通过限制计算预算系统性地低估了AI智能体的实际能力。在软件工程任务中，当token预算增加10倍时，成功率提升约25%。新模型受益最大，实际进展比之前测量结果陡峭约60%。

论文 AISI AI智能体基准测试

事件专题

推荐理由：别信那些基准排名——AISI发现给智能体多点token，表现就能飙升25%。新模型潜力更大。

原文

7月3日

18:04

@koltregaskes@koltregaskes

73°

AISI在测试前沿模型时，将推理计算预算从250万token提高到5000万token，模型的时间跨度从40分钟跃升至4小时。在网络安全、软件工程和数学基准上，模型性能随token预算增加而持续提升，8%的任务仅在1000万token以上才被解决。新模型更能有效利用额外计算资源，前沿模型的加倍率在高预算下陡增60%。标准评估因在模型性能还未饱和前就限制计算量，系统性低估了模型能力，固定预算的得分会遗漏大量提升。

AI模型 AISI 推理模型基准测试

事件专题

推荐理由：AISI用更高的token预算测试模型，发现性能远超标准评测——8%的任务需要千万级token才能解决，前沿模型能力被低估了。

原文

12:51

12:51IT之家（博客/媒体）

71°

Meta超级智能业务负责人汪滔在内部全员大会上披露，下一代AI模型Watermelon（西瓜）在基准测试中已追平OpenAI旗舰模型GPT-5.5。Watermelon是继Avocado之后的模型，使用的算力比Avocado高出一个数量级，目前仍在训练。Meta还计划更新Muse Spark，提升编程和智能体能力。Meta今年预计在基础设施上投入1250亿至1450亿美元，高于此前预测。

AI模型 Watermelon GPT-5.5 Meta

事件专题

推荐理由：Meta的Watermelon模型在基准测试里追平了GPT-5.5，说明它们砸钱抢人搞基建确实出成果了，值得看看这个追赶进度。

原文

10:59

官方账号Epoch AI@EpochAIResearch

OpenAI的GPT-4自2023年3月发布后，在Epoch Capabilities Index上保持领先长达352天，远超过任何其他模型。第二名OpenAI的o1仅领先98天。这表明GPT-4在发布后长期保持性能优势。

AI模型 GPT-4 OpenAI o1

事件专题

推荐理由：GPT-4霸榜352天，o1只撑了98天，看看到底谁才是真强者。

原文

10:58

官方账号Epoch AI@EpochAIResearch

Epoch AI Research 推出新基准 EBR-bench，专门测量 AI 的实时学习（on-the-fly learning）能力。AI 反复玩一款名为 Earthborne Rangers 的高难度棋盘游戏，并尝试从错误中学习。截至目前，AI 未显示出任何改进迹象。

AI模型 EBR-bench Epoch AI Earthborne Rangers

事件专题

推荐理由：Epoch AI 搞了个新基准 EBR-bench，专门看 AI 能不能边玩边学，结果 Earthborne Rangers 这游戏 AI 完全没进步，挺有意思的。

原文

10:01

官方账号arXiv cs.AI@Rintaro Otsubo, Ryo Fujii, Reina Ishikawa, Taiki Kanaya, Kanta Sawafuji, Hiroki Kajita, Shigeki Sakai, Hideo Saito, Ryo Hachiuma

AnyGroundBench是一个域适应基准测试，将时空视频定位评估从静态零样本测试转向严格的域适应。它覆盖动物、工业、运动、手术和公共安全五个专业领域，提供新拍摄视频（如专家标注的小鼠行为）与现有数据集配对，并配备密集的高保真时空标注。评估了15个SOTA视觉语言模型（VLM）的零样本泛化和上下文学习（ICL）能力。结果表明，当前模型在专业领域上的零样本和基于ICL的适应均失败，暴露出时空推理的关键缺陷。

论文 AnyGroundBench VLM 视频定位

推荐理由：想看看现在的VLM在专业视频场景下有多拉胯？这篇论文搞了个AnyGroundBench基准，测了15个模型在动物、手术等5个领域的表现，结果全翻车了。

原文

08:00

lmarena.ai@lmarena_ai

精选

Arena.ai 收集了 Claude Fable 5 重新部署前后在 Text、Vision、Document、Code 和 Agent 五个 Arena 的数千投票，结果显示得分基本一致。Fable 5 在 Text、Document、Vision 和 Code Arena: Frontend 仍处前沿，Frontend 约 20 分下降在置信区间内。Agent Arena 中 Fable 5 曾排名第一，该评测基于数百万真实任务，使用因果追踪衡量模型表现。

AI模型 Fable 5 Anthropic Agent Arena

事件专题

推荐理由：Fable 5 重部署后各维度表现稳定，Agent 依旧最强，前端小幅波动属正常。想看前沿模型对比可以关注。

原文

7月2日

11:11

官方账号arXiv cs.LG@David Shulman

本文揭示射频信号识别基准测试中数据泄露导致精度高估的问题。通过Cover函数计数定理证明，当独立录音数R小于等于特征维度d/2时，分类器可记忆录音-标签映射，使朴素准确率趋近1。在合成实验中，10次种子测试显示，朴素平衡准确率从贝叶斯水平升至1.0，而分组评估降至随机水平，最大差距约0.5。在公开DroneRF数据集上，无人机型号识别（AR vs Bebop）的宏F1从0.74骤降至0.46（二类随机水平）。消融实验证实几乎所有通胀源自片段级数据泄露。

论文 DroneRF 数据泄露 UAV

推荐理由：这篇论文用严格的数学证明和实验告诉你，为什么很多射频无人机识别论文的99%准确率不可信——数据泄露让测试集形同虚设。

原文

11:10

官方账号arXiv cs.LG@Yahya Aalaila, Gerrit Großmann, Sebastian Vollmer

Seahorse是一个统一基准框架，用于可重复的时空点过程（STPP）实验。它通过编码-演化-解码接口形式化神经STPP，并在单一可执行协议下训练、调优和评估所有模型家族。Seahorse附带HawkesNest合成压力测试套件，能暴露不同模型家族（如强度模型、条件密度模型）在复杂事件模式下的归纳偏差。该框架解决了现有实现因预处理、坐标归一化等差异导致的比较不可靠问题。

论文 Seahorse STPP 时空点过程

推荐理由：这篇论文搞了个Seahorse框架，专门统一各种时空事件模型的评测标准，还带压力测试套件，能看清哪个模型在复杂场景下更强。

原文

10:05

官方账号arXiv cs.LG@Nils Neukirch, Martin Maurer, Nils Strodthoff

该研究在5个任务（肿瘤体积与分期分类、2年生存预测、组织学分类、年龄预测）上系统对比了5种特征提取器（Curia、Curia-2、DINOv3、Radiomics2D、Radiomics3D）、7种分类头（TabPFN、TabICL、XGBoost、CatBoost、Random Forest、logistic regression、Ridge）和3种分割方案。模型在LUNG1（n=338）上训练，在内部测试集（n=84）和外部LUNG2队列（n=211）上评估，以最差跨队列性能为主要指标。结果表明，主导设计因素与任务相关：分割影响体积和分期分类，而分类器选择主导生存、组织学和年龄预测。放射组学在肿瘤体积、分期和生存上具有竞争力（部分由于标签推导效应），Curia变体在生存上达到相近峰值分数，DINOv3在所有任务上略逊一筹。推荐Curia结合肿瘤分割和CatBoost头作为安全默认方案，在三个主要临床任务上平均排名最佳。

论文 Curia DINOv3 Radiomics

推荐理由：这篇论文用338例训练、295例测试的严格基准，告诉你肺CT分析到底该选Curia还是放射组学，以及为什么任务不同最优方案不同。

原文

02:14

Ethan Mollick@emollick

作者指出，当涉及多个判断和决策叠加时，不同模型的差异会显著放大。标准基准测试无法反映这种差异，例如Gemini 3.1和GPT-5.5对咖啡馆财务损失的敏感度可能截然不同。用户需要自行针对特定任务进行基准测试，才能获得真实可用性评估。

技巧 Gemini 3.1 GPT-5.5 模型评估

推荐理由：真的得自己测测模型，别光看跑分——比如Gemini 3.1和GPT-5.5在担心亏损上表现不一样，别人测的不等于你用的。

原文

7月1日

22:56

22:56IT之家（博客/媒体）

OpenAI 发布 GeneBench-Pro 基准测试，用于评估 AI 模型在生物学计算中的真实研究能力。该基准包含 129 道题目，覆盖基因组学、定量生物学等 10 大领域和 21 子领域。每道题提供接近真实科研环境的数据集，要求模型自主探索、选择分析方法并给出答案。OpenAI 采用合成数据避免评分偏差，确保模型真正理解问题而非走捷径。目前已在 Hugging Face 开源 10 道示例题，后续将开放 50 道题给 Artificial Analysis 第三方评测。

AI模型 GeneBench-Pro OpenAI 生物学计算

事件专题

推荐理由：想测测 AI 在生物学研究里的实战能力？OpenAI 搞了个 GeneBench-Pro 基准，129 道题，合成数据防作弊，快看看你的模型能得几分。

原文

09:28

官方一手arXiv: DeepSeek@Lisa Taldir, Muhammad Ahmad Saeed, David Defour, Pablo de Oliveira Castro, Eric Petit

论文发布了InterFLOPBench，一个包含90个C语言内核和1130个测试样本的浮点错误分类基准。它评估了14个LLMs在六类错误（抵消、比较、除以零、溢出、下溢、NaN）上的多标签分类性能。结果显示，Qwen 3 32b、Gemini 2.5 Flash、Phi 4 Reasoning、DeepSeek R1T2和gpt-oss（20b和120b）等模型总体F1分数超过0.88。不同错误类别表现差异大：除以零平均F1为0.8479，而下溢和抵消分别只有0.6059和0.6164。

论文 InterFLOPBench LLM 浮点错误

推荐理由：这篇论文搞了个InterFLOPBench，专门测LLM找C语言浮点bug。Qwen 3和Gemini 2.5等模型表现最强，F1超0.88。写代码的必看！

原文

08:21

OpenRouter@OpenRouterAI

OpenRouter 持续在 GPQA 和 TAU-Bench 上测试多数开放权重模型，并公开发布结果。这些数据用于其 AutoExacto 元基准，该基准默认用于路由工具调用。在最新排名中，Parasail.io 和 Zai_org 位列第一。

AI模型 OpenRouter GPQA TAU-Bench

事件专题

推荐理由：想知道哪些开放权重模型在 GPQA 和 TAU-Bench 上表现最好？OpenRouter 每周跑分、公开排名，还能帮你选最靠谱的推理服务。

原文