基准测试相关 AI 资讯 · AITOP

7月1日

08:21

OpenRouter@OpenRouterAI

OpenRouter 持续在 GPQA 和 TAU-Bench 上测试多数开放权重模型，并公开发布结果。这些数据用于其 AutoExacto 元基准，该基准默认用于路由工具调用。在最新排名中，Parasail.io 和 Zai_org 位列第一。

事件专题

推荐理由：想知道哪些开放权重模型在 GPQA 和 TAU-Bench 上表现最好？OpenRouter 每周跑分、公开排名，还能帮你选最靠谱的推理服务。

原文

07:16

Cognition@cognition_labs

Cognition 发布了 FrontierCode (Extended) 基准，用于评估真实世界编程任务的可合并性和质量。Claude Sonnet 5 在该基准上得分 53.8%，通过率为 57.6%。该成绩高于 Opus 4.8 的表现，但 Cognition 表示随着后续基准调整，相对排名可能发生变化。

AI模型 Claude Sonnet 5 FrontierCode

推荐理由：Cognition 用 FrontierCode 实测了 Sonnet 5 的工程能力，它比 Opus 4.8 更强，值得关注。

原文

04:54

lmarena.ai@lmarena_ai

Agent Arena 发布博客介绍因果追踪方法论，用于分析智能体在评测中的行为归因。该方法通过因果干预识别智能体决策的关键组件。博客详细阐述了如何将因果追踪应用于 Agent Arena 基准测试，帮助理解智能体表现差异的来源。

论文 Agent Arena 因果追踪智能体

推荐理由：想知道智能体在评测中为什么这么表现吗？Agent Arena 这篇博客用因果追踪拆解原因，比只看分数更深入。

原文

04:32

coderabbitai@coderabbitai

CodeRabbit AI 对 Claude Sonnet 5 进行了代码审查基准测试。结果发现，该模型在生成更干净的评论方面表现突出，评论精度相比前代提升约9%。模型展现出更深层的思考能力，并在编码技能上有所增强。完整评测细节已在下方链接中公布。

AI模型 Claude Sonnet 5 代码审查推理模型

推荐理由：CodeRabbit AI 跑了 Claude Sonnet 5 的代码审查评测，评论精度提了9%，编码更聪明，值得看看细节。

原文

03:00

官方账号Decoder@Matthias Bastian

76°

Anthropic推出Claude Sonnet 5，在GDPval-AA v2知识工作测试中得分1,618，超越前代Sonnet 4.6和更贵的Opus 4.8。该模型在网络安全任务上得分远低于美国政府当前封锁的模型。Sonnet 5进一步缩小了与Opus系列的价格-性能差距。

AI模型 Claude Sonnet 5 Anthropic Opus

事件专题

推荐理由：Anthropic的新模型Sonnet 5，基准测试上超过自家大哥Opus 4.8，价格还更低，挺能打的。

原文

02:14

Lovable@lovable_dev

Lovable 宣布集成 Claude Sonnet 5，替代之前的 Sonnet 模型。内部基准测试显示，Claude Sonnet 5 能在更低成本下完成更多任务，尤其在识别危险请求方面表现突出。安全能力较前代 Sonnet 模型显著提升。此举让 Lovable 用户能直接使用更高效的模型。

AI产品 Lovable Claude Sonnet 5 安全

推荐理由：Lovable 直接上了 Claude Sonnet 5，说干活多花得少，还更安全，感兴趣可以试试看。

原文

02:08

官方账号OpenAI@OpenAI

精选

OpenAI推出GeneBench-Pro，这是一个面向AI agent的研究级基准测试。该基准要求agent在混乱的生物数据中导航并选择正确的分析路径。它旨在衡量AI在真实计算研究中的判断能力，而非简单准确率。

AI模型 OpenAI GeneBench-Pro 智能体

事件专题

推荐理由：想看看AI分析生物数据能多聪明？OpenAI这个新测试专考agent的判断力，挺有意思的。

原文

01:15

AK@_akhaliq

OSWorld2.0 是一个新发布的基准测试，专门用于评估计算机使用智能体在长周期真实世界任务中的表现。该基准包含 100 个任务，每个任务平均需要 10 步以上才能完成。相比 OSWorld 1.0，新版本增加了更多涉及多步骤规划和错误恢复的场景。测试结果显示，当前最先进的模型（如 GPT-4o）在 OSWorld2.0 上的成功率仅为 15.3%，表明长周期任务仍是 AI 面临的关键挑战。

AI模型 OSWorld2.0 基准测试智能体

推荐理由：想看看 AI 在真实电脑操作上能走多远？OSWorld2.0 拿 100 个长任务测智能体，GPT-4o 都只拿到 15% 成功率，差距一目了然。

原文

01:07

01:07官方一手OpenAI Blog（博客/媒体）

GeneBench-Pro是一个新发布的基准测试，用于评估AI在基因组学、生物学和科学研究中的性能。该基准使用复杂真实世界数据集，涵盖多种科学任务。它旨在衡量模型在基因分析和生物信息学方面的能力。

AI模型 GeneBench-Pro 基因组学基准测试

事件专题

推荐理由：GeneBench-Pro用真实数据测AI在基因组学上的表现，搞科研的可以看看到底谁更强。

原文

6月30日

10:59

官方账号arXiv cs.LG@Matthias Blaschke, Daniel Kienzle, Zsuzsanna Koczor-Benda, Julian Lorenz, Rainer Lienhart, Fabian Pauly

新发布的Nanotechnology Molecular Optimization (NMO) Benchmark 替代传统药物发现中的代理指标，使用量子模拟评分。该基准对生成式分子模型提出严格结构约束和崎岖适应度景观。测试发现先进的分子优化方法在NMO任务上表现不及更简单的基线方法。研究团队开发了新基线方法，包含用于建模结构约束的新表示和消除制药数据集偏见的域无关预训练策略。该方法超越了最先进的物理性质结果，并揭示此前未知的结构基序。

AI模型 NMO Nanotechnology Molecular Optimization 分子优化

推荐理由：科学家们搞了个新基准NMO，专门用来测试分子优化算法在纳米技术上的表现，直接用量子模拟打分，结果发现之前的先进方法还不如简单方法好用。

原文

10:40

官方一手arXiv: DeepSeek@Camilo Chacón Sartori

EMPATH是一个多语言审计-法官基准，用于评估情感支持聊天机器人的安全性。该基准使用审计模型模拟求助用户，基于140个种子指令和34个人设生成多轮对话，法官模型从19个指标（分属五个维度）评分。基准在墨西哥西班牙语和美国英语上构建，研究发现标准评分在19个指标中的10个上存在膨胀，校准后恢复了区分度。在三个前沿模型（含一个开源模型）上测试，聚合分数差异在0.74分内，但具体指标差异可达6分。运行间可靠性差，deepseek-v4-pro在温度0下每次运行生成不同对话。

AI模型 EMPATH 情感支持聊天机器人 AI安全

推荐理由：这个新基准EMPATH专测情感支持聊天机器人的安全漏洞，用AI模拟求助者进行多语言多轮对话，发现主流模型评分虚高且不稳定，值得一做。

原文

09:21

官方一手arXiv: DeepSeek@Aditya Pratap Singh

该论文对10个OCR系统在天城体（印地语）上进行基准测试，包括EasyOCR、Qwen2.5-VL-3B、Qwen3-VL-8B、DeepSeek-OCR、Gemini 2.5 Flash、Claude Opus 4.7、GPT-5.5等。在清洁文本上所有系统chrF++在91-98之间，但在真实扫描图像中，9个系统性能大幅下降（EasyOCR从93.6跌至58.3）。Qwen3-VL-8B（75.2，可在单张24GB GPU运行）超过GPT-5.5（58.5）和olmOCR-7B（40.5），Gemini和Claude领先（86.3和82.2）。论文还提出基于ByT5的字节级后校正器可将廉价引擎chrF++提升1.2-1.5。

论文 OCR 天城体基准测试

推荐理由：如果你对多语言OCR或印地语文本识别感兴趣，这篇论文揭示了主流模型在天城体上的真实差距，尤其是GPT-5.5表现不如开源Qwen3-VL-8B。

原文

03:07

@koltregaskes@koltregaskes

Ethan Mollick根据Artificial Analysis的AA-Briefcase分数，绘制了AI模型在复杂多周咨询任务上的表现趋势。AA-Briefcase测试模型处理电子表格和策略规划等可交付成果。GLM-5.2等开源模型目前达到的水平，与闭源模型三个月前的分数一致。高端闭源模型仍保持明显领先，但差距在缩小。

AI模型 GLM-5.2 AA-Briefcase 开源模型

推荐理由：开源模型GLM-5.2在AA-Briefcase智能体基准上只差闭源三个月了，做复杂任务时值得试试看。

原文

6月29日

17:45

Browser Use@browser_use

Browser Use 团队使用 v4 版本构建 QA 基准测试，将 GLM 5.2、Opus 4.7、GPT 5.5 和 Minimax M3 四个模型在 LLM Arena 数据集上的任务进行对比。每个模型生成网站后由人工评估打分，测试涵盖多个任务类型。结果揭示了开源权重模型在特定场景下的表现差异。

AI模型 GLM 5.2 Opus 4.7 GPT 5.5

事件专题

推荐理由：他们用 Browser Use v4 搞了个新基准，测了 GLM 5.2、Opus 4.7、GPT 5.5 和 Minimax M3，人工打分告诉你谁在 QA 任务上更强。

原文

13:51

官方账号Together AI@togethercompute

精选

Together Compute推出ParallelKernelBench开放基准测试，专门评估LLM编写多GPU内核的难度。该基准基于50个真实CUDA通信问题，性能取决于通过NVLink高效移动数据。测试结果将于6月30日在aiDotEngineer World's Fair上由Simran Arora分享。

AI模型 ParallelKernelBench Together Compute CUDA

推荐理由：Together Compute搞了个ParallelKernelBench，专门测LLM能不能写好复杂的多GPU内核，比单GPU难多了，感兴趣的话可以去现场听分享。

原文

13:51

官方账号Together AI@togethercompute

精选

ParallelKernelBench评估了LLMs编写多GPU内核的能力，包含87个来自Megatron-LM、DeepSpeed、DeepEP、TensorRT-LLM、NeMo-RL等真实代码库的问题。测试结果显示LLMs在单GPU内核上表现良好，但在多GPU场景下完全失败。该研究由Willy Chan等人完成，揭示了当前LLM在多GPU编程中的核心缺陷。

AI模型 ParallelKernelBench Megatron-LM DeepSpeed

推荐理由：新基准ParallelKernelBench发现，LLM写单GPU代码还行，但多个GPU一起就瞎了。想看看AI编程到底卡在哪？

原文

13:50

官方账号François Chollet@fchollet

精选

François Chollet 指出，如果基准测试依赖静态数据集或训练时已知的静态分布，那么它本质上衡量的是记忆/检索，而非智能。他以 ARC 挑战为例，说明现有基准容易因数据泄露而失效，并强调真正智能需要应对未知变化。Chollet 呼吁社区设计更能体现泛化能力的测试，如基于动态环境的评估。

行业 François Chollet 基准测试智能测评

推荐理由：Chollet 点破了基准测试的痛点：很多高分模型只是背答案，不是真聪明。做评测的值得看看。

原文

01:42

OpenRouter@OpenRouterAI

OpenRouter 持续对大多数开源权重模型运行 GPQA 与 TAU-Bench 两个基准，并将结果公开。这些成绩被用于其 AutoExacto 元基准，后者是路由工具调用的默认依据。当前 Parasail 和 Zai 在排行榜上位列第一。

技巧 OpenRouter GPQA TAU-Bench

推荐理由：选模型路由工具前，看看 OpenRouter 定期跑的 GPQA 和 TAU-Bench 排名，现在 Parasail 和 Zai 排第一，挺有参考价值。

原文

6月28日

18:27

官方账号Decoder@Maximilian Schreiner

精选

普林斯顿大学研究团队创建了CEO-Bench基准测试，要求AI代理在模拟环境中经营一家软件公司500天。测试结果显示，大多数参与模型最终破产，仅三个AI模型的资本高于初始资金。令人意外的是，一个简单的、不依赖AI的规则启发式方法几乎击败了所有AI模型。该测试揭示了当前AI在长期决策与资源管理方面的局限性。

AI模型 CEO-Bench Princeton 智能体

推荐理由：普林斯顿大学用500天模拟测试AI经营公司，结果大部分亏钱，一个非AI规则反而更稳。看看哪三个模型赚钱了。

原文

6月27日

12:56

官方账号Epoch AI@EpochAIResearch

精选

Epoch AI 推出了 MirrorCode，一个长周期软件工程基准，允许 AI 模型自主编程数天。最佳模型（如 GPT-4、Claude 3.5）在部分任务上表现达到人类工程师数周的工作量。该基准包含超过 50 个复杂编程任务，每个任务需要多步代码修改和调试。结果显示，当前 AI 在处理持续数小时的工程任务时仍面临挑战，但进步显著。

AI模型 MirrorCode Epoch AI 编程助手

事件专题

推荐理由：Epoch AI 搞了个新基准 MirrorCode，让 AI 连续写几天代码，最强模型能干人类几周的活，想看看 AI 编程天花板在哪可以关注。

原文

12:23

官方账号Decoder@Matthias Bastian

精选

Epoch AI 发布新基准 MirrorCode，测试 AI 模型能否在无原始代码时重建完整程序。Claude Opus 4.7 以 56% 的解决率领先，曾在 14 小时内重建 16,000 行工具包。个别模型为单个 MirrorCode 任务连续运行 19 天，花费 2,600 美元。所有测试模型在最复杂任务上均失败。

AI模型 MirrorCode Epoch AI Claude Opus 4.7

事件专题

推荐理由：Epoch AI 搞了个新基准 MirrorCode，专测 AI 能不能凭空抄作业。Claude Opus 4.7 解了一半，但最难的题全挂，甚至有个模型烧了 19 天才花掉 2600 刀。

原文

12:16

Geek@geekbb

Nous Research 推出了 Hermes Agent，通过暴露 MoA（混合代理）预设作为虚拟模型，提供超越公开前沿模型的能力。在即将发布的基准测试中，Hermes Agent 成绩比 Opus 4.8 高 8%，比 GPT 5.5 高 11%。该模型目前仅限部分用户访问。

AI模型 Hermes Agent Nous Research MoA

推荐理由：Nous Research 搞了个新东西，用 MoA 预设做虚拟模型，比 Opus 4.8 和 GPT 5.5 都强，值得看看。

原文

11:40

官方一手marktechpost@Asif Razzaq

72°

Cursor 的一项研究发现，编程代理在 SWE-bench Pro 上通过检索已知修复而非自主推导，导致基准分数虚高。研究指出运行时污染是主要原因，代理利用训练数据中的已有 fix 来绕过问题。该发现暴露了当前代码生成基准测试的评估漏洞，影响对 AI 编程能力的正确判断。

论文 Cursor SWE-bench Pro 编程代理

事件专题

推荐理由：Cursor 发现编程代理在 SWE-bench Pro 上靠翻已知答案刷分，不是真正会写代码。想了解基准测试水分有多大？看这个。

原文

6月26日

10:22

官方账号arXiv cs.LG@Lang Huang, Jinglue Xu, Luke Darlow

研究使用Ridge回归作为测试床，在8个标准基准上搜索上下文长度、局部归一化、正则化和数据增强的最优超参数。发现最佳回溯窗口长度与预测时序高度相关，且非单调，幂律指数从ETTm2的+0.46到Exchange和Traffic的-0.19。在大多数数据集-预测时距组合上，优化后的线性模型超越了先前的线性预测器，并超过Transformer、MLP和CNN基线在6/8个基准上的表现。优化超参数还可作为数据诊断工具，揭示大型模型隐式学习的结构。

论文 Ridge回归时间序列预测超参数优化

推荐理由：这篇论文发现，调好预处理参数，线性模型就能干翻Transformer等复杂模型，不用堆算力。

原文

10:19

官方一手GitHub Blog@Natalie Guevara

精选

GitHub Copilot agentic harness 在多项基准测试中展现优异性能，同时实现领先的 token 效率。该框架支持超过 20 种不同模型，提供灵活的模型选择。评测覆盖多种任务类型，验证了其通用性。

AI产品 GitHub Copilot agentic harness token效率

推荐理由：GitHub 官方的代理框架评测，Copilot 在不同模型上又快又省 token，支持 20 多种模型，搞编程智能体的别错过。

原文

09:48

官方账号arXiv cs.AI@Henry Shaowu Yuchi, Michal Kucer, Benjamin H. Sims, Selma Peterson, Emily Taylor

NuclearQAv2是一个专为核工程领域设计的基准测试，包含约1240个问答对，涵盖布尔、数值和文字三类问题。该基准采用混合流程，结合专家编写、现有数据集和LLM辅助生成。评估多种LLM发现，模型在事实性问答上表现良好，但在定量推理和概念理解上存在明显短板。NuclearQAv2提供了一种可扩展的方案，用于系统衡量大语言模型在技术领域的实际能力。

AI模型 NuclearQAv2 核工程基准测试

推荐理由：想看你用的LLM在核工程上有多靠谱？NuclearQAv2用1240道硬核题测出模型的定量推理短板，比通用基准更实在。

原文

02:46

OpenRouter@OpenRouterAI

精选

OpenRouter 正式推出官方 MCP 服务，让 AI 代理能实时查询模型定价、基准成绩和流行度数据。该服务可避免代理在代码中硬编码错误的模型 slug。视频演示显示代理能够动态选择模型、获取价格并测试性能。这使代理不再依赖六个月前的训练数据猜测模型选择。

AI产品 OpenRouter MCP 模型定价

推荐理由：OpenRouter 出了个 MCP，你的代理能实时查模型价格和排名，再也不怕写错模型名了。

原文

6月25日

11:01

官方账号arXiv cs.AI@Yu-Yang Chen, Lan-Zhe Guo

TriViewBench 是一个基于合成3D场景的受控多视图视觉推理基准，包含1,923个场景和超过14K个问答对，分为4个复杂度级别和3个推理类别：局部决策、物体计数和全局恢复。评估18个开源和闭源MLLMs发现，所有模型能力排序一致（局部决策>物体计数>全局恢复），且随着复杂度增加性能单调下降：局部决策下降12.11%，物体计数下降59.14%，全局恢复骤降80.02%。错误分析表明，单视图任务中因遮挡导致欠计数，多视图任务因跨视角身份混淆导致过计数。Chain-of-Thought提示几乎无收益（Δ=-0.16%），表明瓶颈在于跨视角空间表示而非推理策略。

论文 TriViewBench MLLMs 多模态

推荐理由：这篇论文用TriViewBench测了18个多模态模型，发现它们都在多视图推理上崩得厉害，CoT也救不了。想了解当前MLLM的结构推理极限，可以看看。

原文

01:18

Jerry Liu@jerryjliu0

精选

Mistral OCR 在 ParseBench 上与多个前沿和开源权重模型进行对比测试。它在语义格式化方面表现突出，能准确处理删除线、上下标、标题层级和链接。在内容忠实度（阅读顺序、幻觉、遗漏）和视觉定位（边界框）上也具有竞争力。表格处理能力一般，几乎没有图表能力。其价格明显低于 Azure Doc Intelligence 和 AWS Textract 等 OCR 服务商。

AI模型 Mistral OCR ParseBench OCR

推荐理由：Mistral OCR 在 ParseBench 上语义格式化很强，价格还比 Azure/AWS 便宜，适合做高质量 OCR 又不愿花大价钱的场景。

原文

6月24日

17:51

官方账号Decoder@Maximilian Schreiner

Mistral AI推出OCR 4模型，专门用于从PDF、Word和PowerPoint等文档中读取文本。公司称在盲测中，OCR 4在72%的案例中表现优于竞品。该模型专注于文档文本提取，与现有OCR方案相比有显著提升。

AI模型 Mistral OCR 4 文档处理

推荐理由：Mistral新出的OCR 4在盲测里赢了七成多对手，专治PDF和PPT文字提取，文档党可以看看。

原文

6月23日

12:35

官方一手arXiv: OpenAI@Mostapha Benhenda

Finance Agent v2仅处理上市公司定期报告（SEC 10-K/10-Q），不适用于IPO尽职调查。新基准IPO Finance Agent扩展了任务领域和检索架构，采用上下文检索处理长文档，如SpaceX的S-1文件。该基准包含1000个IPO尽职调查问题，公开70个SpaceX问题，并引入自动生成评估标准管道。最佳模型Alibaba Qwen 3.7 Max准确率79.4%，成本$0.30/查询；最经济模型Xiaomi MiMo-2.5 Pro准确率76.8%，成本$0.05/查询，均超越Finance Agent v2领先者Google Gemini 3.5 Flash（57.9%，$2.51/查询）。

论文 IPO Finance Agent SpaceX Qwen 3.7

事件专题

推荐理由：想测模型做IPO分析的功力？这篇论文搞了新基准，Qwen 3.7最强但贵，小米MiMo性价比炸裂，值得看。

原文

03:55

lmarena.ai@lmarena_ai

精选

技巧 Arena LMSYS 模型评测

推荐理由：想了解AI模型评测怎么运作的？Arena团队亲自拆解从内测到上线的完整评估流程，还讲了Bradley-Terry分数如何保证公平，干货满满。

原文

6月19日

22:18

官方账号Decoder@Maximilian Schreiner

一项新基准测试评估了AI处理真实知识工作的能力。即使是最先进的AI模型，也仅能完全解决3%的任务。这一结果凸显了当前AI在处理复杂、多步骤的知识工作方面仍存在巨大短板。

AI模型基准测试知识工作 AI性能

推荐理由：这个新基准狠狠打了AI的脸——最强模型也只完成3%的真实知识工作，别看平时吹得厉害。

原文

18:27

官方账号Decoder@Maximilian Schreiner

OpenAI研究者发现，通过强化学习对诚实性、可修正性等理想行为特质进行训练，模型在跨领域表现提升。在健康数据上训练后，欺骗检测能力也增强，模型在53个基准中的44个上得分更高。该方法与Anthropic的基于宪法的对齐方法不同。研究显示少量特质训练即可带来广泛安全改善。

论文 OpenAI AI安全强化学习

事件专题

推荐理由：OpenAI发现，只给模型一点点“诚实”训练，它就在53个测试里赢了44个，连健康领域的骗术都能识破。和Anthropic的路数不一样，挺有意思。

原文

11:31

官方账号arXiv cs.AI@Maria Ivanova, Pavel Zadorozhny, Rodion Levichev, Ivan Petrov, Adamenko Pavel, Ivan Lopatin, Alexey Kutalev, Dmitrii Babaev

LiveCodeBench (LCB) 是广泛采用的代码生成基准，但仅限Python。新基准Multi-LCB将LCB任务转化为12种编程语言，包括Python、C++、Java等，保持原始污染控制和评估协议。研究者在Multi-LCB上评估了24个LLM，发现模型存在Python过拟合、语言特定污染和跨语言性能差异。Multi-LCB为多语言代码评估提供了严格的新基准，直接暴露了当前LLM在Python之外的短板。

AI模型 Multi-LCB LiveCodeBench 代码生成

推荐理由：想测AI写代码的真本事？别只看Python了。Multi-LCB覆盖12种语言，一测就知道模型是不是只会Python，结果可能让你意外。

原文

10:07

官方账号arXiv cs.AI@Xinyi Zheng, Ling Shi, Tianlong Yu, Yongxin Zhao, Lorenz Goette, Kailong Wang

QMFOL是一个自动生成一元一阶逻辑推理任务的框架，可精确控制推理深度、宽度、标签类型和干扰项。基于该框架构建的QMFOLBench包含2880个实例、960种配置。在6个大型推理模型（LRMs）和2个LLM上的评估表明，逻辑复杂度增加时性能下降、计算开销上升。模型在True标签任务上表现优于False或Unknown任务，且对语义变化敏感。

论文 QMFOL LLM 推理

推荐理由：这篇论文提出了一个更好的推理测试方法QMFOL，能精细控制逻辑难度，用来测LLM推理能力更准。

原文

09:55

官方账号arXiv cs.LG@Tristan Tomilin, Mourad Boustani, Mickey Beurskens, Thiago D. Simão

CRAX基于MuJoCo XLA（MJX）物理引擎，利用JAX的向量化操作和硬件加速，在安全强化学习基准测试中实现约100倍于CPU版本的速度提升。该基准包含六套环境和三类智能体任务，每类任务设三个难度级别。研究者在六个主流安全RL方法上的评估表明，没有一种方法在所有任务中占优，揭示了性能与安全之间的权衡。实验还发现，跨难度级别的课程学习与安全迁移在困难设置下比直接训练效果更好。

AI模型 CRAX MuJoCo JAX

推荐理由：想快速测试安全RL算法？CRAX用JAX把基准跑快100倍，还自带六个环境和三级难度，帮你一眼看出哪个方法在安全与性能上最均衡。

原文

09:36

官方一手arXiv: OpenAI@Ahmad Salimi, Wentao Ma, Yuzhi Tang, Dongming Shen, Mu Li, Alex Smola

IHBench评估语音助手在10个企业领域中断后的恢复能力，包含6种中断类型。27个音频语言模型配置来自OpenAI、Google和开源社区。闭源模型在任务完成度上显著优于开源模型，长对话中性能下降慢约3.3倍，且无音频-文本模态差距。人类研究验证了LLM评判的可靠性，交叉分析显示恢复质量是独立能力维度。

论文 IHBench OpenAI Google

事件专题

推荐理由：想测语音助手被用户打断后能不能接好活？IHBench专门看这个，比谁恢复得自然、不错步骤。闭源模型比开源稳太多了。

原文

6月18日

13:00

@atomic_chat_hq@atomic_chat_hq

StepFun 的 Step 3.7 Flash 模型与 DeepSeek V4-Flash 在物理动画生成任务中直接对比。任务要求编写自包含 HTML5 Canvas 动画，包含高尔顿板、旋转六边形中弹跳的球、五个同步节拍器三个场景。Step 3.7 Flash 输出 59.6k tokens (9分57秒)，DeepSeek V4-Flash 输出 52.5k tokens (6分21秒)。虽然 DeepSeek 更快，但 StepFun 在物理模拟、视觉效果和逻辑渲染三个维度全面获胜。

AI模型 Step 3.7 Flash DeepSeek V4-Flash StepFun

事件专题

推荐理由：StepFun 的 Step 3.7 Flash 在生成物理动画上把 DeepSeek V4-Flash 比下去了，慢点但模拟和画面都好很多。

原文

10:35

官方一手marktechpost@Michal Sutter

精选

OpenAI推出LifeSciBench，包含750个专家撰写任务，覆盖7个工作流和7个生物学领域，由173位博士科学家构建，使用19,020条评分标准评估推理与决策。当前最佳模型GPT-Rosalind得分仅36.1%，在人工制品、精确输出和操作决策上仍有较大提升空间。该基准旨在测试AI的真实研究能力而非单纯记忆。

AI模型 LifeSciBench OpenAI GPT-Rosalind

事件专题

推荐理由：想看看AI搞科研到底多强？OpenAI出了个750道专家题的LifeSciBench，GPT-Rosalind才36.1%，差距大到让你吃惊。

原文