最新 AI 新闻与行业动态

论文多源确认11:03

这篇论文发布了MacAgentBench，一个包含676个macOS桌面任务的智能体基准。它用细粒度评分发现Claude Opus 4.6配合OpenClaw能拿到73.7%的正确率，而且不同模型表面分一样但实际完成能力差很多，值得研究智能体的去看。

#MacAgentBench #OpenClaw #Claude Opus 4.6 #桌面自动化

事件专题

arXiv cs.AI@Yikun Fu 等 13 人4 个信源在谈原文

论文多源确认10:24

理论工具箱：基于智能体的LLM辅助经济理论研究工具

这篇论文为你演示了如何用LLM做经济理论研究，重点不是让模型生成答案，而是设计验证流程来确保结果可靠，三种方法对比很清楚。

#LLM #经济理论 #验证协议 #多智能体

事件专题

arXiv: OpenAI@Moran Koren11 个信源在谈原文

模型10:55

TxBench-PP基准测试：AI Agent在临床前药理学任务中表现不佳

想看看AI在药物发现中到底行不行？这个基准测试用4800条轨迹告诉你，Claude Opus 4.8和GPT-5.5都还差得远，最高才59.3%的通过率。

#TxBench-PP #Claude Opus 4.8 #GPT-5.5 #AI agent

事件专题

arXiv cs.LG@Hannah Le 等 6 人2 个信源在谈原文

论文10:30

TAC基准测试：AI旅行代理会预订斗牛吗？前沿模型隐含动物福利评估

动物福利问题有了AI专属的代理基准TAC，实测Claude Opus 4.7刚过一半，加个提示词能暴增60%，暴露了模型在实际行动中的盲区。

#TAC #动物福利 #AI Agent #基准测试

事件专题

arXiv: DeepSeek@Jasmine Brazilek 等 6 人2 个信源在谈原文

论文多源确认10:05

Agentic AI生成并行Julia代码的可扩展性研究

这篇论文测试了GPT-5.5、Claude Opus 4.7和Qwen3-Coder-Next用智能体写并行Julia代码，在超算上跑192核，发现小规模还行，大规模容易死锁或OOM，开源模型最差。做HPC或Julia并行开发的人值得看。

#GPT-5.5 #Claude Opus 4.7 #Qwen3-Coder-Next #Julia

事件专题

arXiv: Anthropic@Linus Bantel 等 4 人11 个信源在谈原文

论文多源确认10:03

LLM可视化素养已超人类，但作为评估者仍不可靠

这篇论文测了Claude、GPT和Gemini最新版，看图能力比人强，但让它们判断图表有没有骗人，还是不行。有意思的发现。

#Claude #GPT #Gemini #LLM

事件专题

arXiv: Anthropic@Christian Seto 等 4 人11 个信源在谈原文

论文 Agent 与开发者精选72°13:02

前沿编程智能体用元编程适应陌生语言，Claude Opus 4.6 和 GPT-5.4 表现突出

做 AI 编程智能体或评估基准的团队，这篇论文揭示了主流基准（如 SWE-Bench）掩盖的能力差距——强智能体在陌生语言上的元编程策略值得借鉴，建议点开看具体实现方法。

#编程智能体 #元编程 #Claude Opus 4.6 #GPT-5.4

arXiv cs.AI@Aman Sharma 等 3 人原文

论文多源确认精选72°09:40

Scaffold 选择影响 GAIA 准确率高达 28 个百分点：模型能力评估需谨慎

做 AI 模型评测或选型的人必须看——这篇研究用严格对照实验证明，你看到的模型能力分数可能更多反映的是 scaffold 设计而非模型本身，建议重新审视自己的评估流程。

#模型评估 #Scaffold #GAIA #智能体

事件专题

arXiv: Anthropic@Jason Starace11 个信源在谈原文

论文政策与合规09:33

AARR 基准测试：评估前沿 LLM 和智能体在研究生命周期中的表现

这个基准直击当前 AI 智能体在研究场景中的短板——不是执行能力不够，而是缺乏研究者的细腻判断。做 AI 评估或智能体开发的团队值得关注，它揭示了提升 AI 研究素养的新方向。

#基准测试 #LLM #智能体 #研究自动化

arXiv cs.AI@Jiayu Wang 等 11 人原文

论文精选76°10:35

AutoLab：前沿模型能否解决长周期自动研究与工程任务？

AutoLab 填补了现有基准只测短周期任务的空白，做 AI 智能体研究和开发的团队可以直接用它来测试模型的持久迭代能力，值得关注。

#基准测试 #长周期优化 #智能体 #Claude Opus 4.6

arXiv cs.AI@Zhangchen Xu 等 19 人原文

论文72°10:31

终端智能体训练：低分模型轨迹反而教得更好？

这篇论文推翻了“老师越强，学生越好”的直觉，做智能体微调的团队会发现数据质量和交互结构比模型能力更重要，值得仔细读实验设计。

#智能体 #终端智能体 #训练数据 #环境监督

arXiv: DeepSeek@Sidi Yang 等 14 人原文

论文精选11:47

Retrying vs Resampling：AI控制中的安全策略对比研究

这篇论文揭示了AI编程工具中重试策略的安全隐患，并给出了更优的重采样方案。做AI安全或使用Claude Code/Codex的开发者，建议看看具体实验数据和结论，避免踩坑。

#AI安全 #重试策略 #重采样 #Claude Code

arXiv cs.AI@James Lucassen, Adam Kaufman原文

论文精选09:55

双智能体LLM框架：生成物理约束本构模型，精度与泛化兼得

做材料本构建模的团队终于有了靠谱的AI助手——双智能体框架自动生成物理有效的模型，省去手动校验的繁琐，建议做固体力学或生物力学仿真的开发者点开看看。

#本构模型 #多智能体 #物理约束 #LLM

arXiv cs.LG@Marius Tacke 等 7 人原文

论文精选72°11:44

RefusalBench：拒绝率误导前沿LLM在生物研究提示上的安全排名

做AI安全评估或生物研究合规的团队，这个基准能帮你避开“拒绝率越高越安全”的误区——Grok 4.20的案例值得点开看看。

#安全评估 #基准测试 #生物研究 #拒绝行为

arXiv: Anthropic@Lukas Weidener 等 5 人原文

论文中美对照多源确认精选76°12:55

Deep Research Agent 评测基准：管理咨询任务中 Claude、o3、Gemini 表现均不佳

管理咨询团队和依赖AI做深度分析的开发者会震惊——三个最先进的DRA在专家级任务中通过率不到22%，且各有致命短板。想避免被AI的自信输出误导，建议仔细看这篇评测的失败模式分析。

#评测基准 #深度研究代理 #管理咨询 #Claude

事件专题

arXiv: OpenAI@Tanmay Asthana 等 3 人11 个信源在谈原文

论文中美对照多源确认精选10:26

Mythos漏洞复现基准测试：GPT-5.5仅5/18成功

这个实验戳破了AI漏洞发现能力的泡沫——即使给定了目标文件，顶级模型复现已知漏洞的成功率也极低。做AI安全评估或漏洞研究的团队，看完会重新审视benchmark的可靠性。

#漏洞发现 #基准测试 #GPT-5.5 #Claude Opus 4.7

事件专题

arXiv: Anthropic@Isaac David, Arthur Gervais11 个信源在谈原文

论文精选19:12

MEME 基准测试：多实体与演化记忆评估，所有系统在依赖推理上崩溃

做 LLM 智能体长期记忆系统的团队会发现，现有方案在依赖推理上几乎失效——MEME 基准暴露了被忽视的盲区，值得点开看看你的系统能否通过级联和缺失任务。

#LLM 智能体 #记忆系统 #基准测试 #依赖推理

arXiv cs.LG@Seokwon Jung 等 5 人原文

论文19:11

LLM生成代码评估：新基准与开发者研究

该研究为LLM代码生成评估提供了更全面的方法论，强调了开发者反馈的重要性，对模型选择和改进实践具有参考价值。

#代码生成 #评估基准 #GPT-4.1 #DeepSeek-V3-0324

arXiv: DeepSeek@Joanna Szych, Anne Schwerk原文

论文19:11

FormalRewardBench：形式化定理证明奖励模型基准

该基准填补了形式化定理证明中奖励模型评估工具的空白，揭示专用定理证明模型在评估任务上的不足，为改进RL训练信号提供了明确方向。

#定理证明 #奖励模型 #Lean 4 #基准测试

arXiv: DeepSeek@Zeynel A. Uluşan 等 4 人原文