全部动态

把 PyTorch 仓库自动改成 JAX 版的智能体测评，Claude Opus 5 通过 75%，其他模型差距挺大，做工程自动化的可以看看。

一个开源的技能检索方案，检索基准 NDCG@10 从 64.0 提到 70.9，ToolQA 上比 BM25 和 RankGPT 多完成不少任务，做智能体的可以看看它的 KeyOpt 思路。

三个主流模型做审批时都会被历史案例带偏：结论标签拉高批准率，案例事实反而压低。做 RAG 或判例检索的值得看看这两部分怎么分开测。

机器人圈的朋友看看，这个新基准专门测 LLM 做 ROS1 迁移 ROS2 的能力，六个主流模型 pass@1 都不到 11%，编译过了运行挂是重灾区。

一篇写代码安全的论文：三个探索智能体分工分析漏洞再汇总修复，缺 PoV 测试也能修，成绩比 EvoRepair 高出最多 25.4 个百分点。

Amazon Science 做了个开源评测场，专门测预测工具质量怎么影响 LLM 智能体谈判，跑了四个主流模型，结论挺反直觉。

研究者把提示词拆成请求和操作两部分分别翻译，发现 Mistral Small 4 换成西班牙语后拒绝率掉了 13.7 个点，Gemini 2.5 Flash 和 DeepSeek 则基本没变化。

微软这篇论文做了个自动越狱攻击器，对 GPT-5.4、Claude-Haiku-4.5 这些模型的攻击成功率近六成，做 AI 安全的得看看对手手段。

有人在 DeepSeek V4.1 Flash-1017 发布后独立测了它的失控和操纵风险，还和 GPT-6、Gemini 3.8 摆在一起对比，结论有具体建议，做安全评估的可以看看。

一篇时序因果推理的论文，8.6B 参数的 TCR-Former 在 TempoCausal 上赢了 GPT-5.4 和 DeepSeek-V3.2，思路是把因果图塞进注意力机制里。

评测 GUI 智能体老盯着静态截图，这篇造了 601 个目标先藏起来的任务，人能拿 94.6%，GPT-5.5 只有 79.4%，差距到底卡在哪写得很清楚。

反着研究谄媚挺有意思：模型自信但说错时，人反而全盘照收。1040 条数据显示信任校准会失效，做 AI 教育产品的可以看看。

一篇讲怎么让 Agent 框架自动进化的论文，产出的 harness 比之前的 RHO 又快又便宜，代码已开源可以直接看。

PHREEQC 模拟结果固定不变，只是让 GPT-5.2 按需检索报告就掉 9.4 分，原因是它改用自己的输出文件瞎舍入。Claude 系列反而没受影响，做 agent 上下文管理的值得对比看看。

拿四个 LLM 模拟欧洲四国调查，看谁能复现真实的年龄差距，结果三个模型翻车，适合做问卷模拟的人看看。

做 Agent 长任务的朋友看看这篇：把设计意图存图里、用确定性控制器核对交付物，19 个领域、228 个任务的基准测下来，同一模型约束满足率高出基线 14-25%。

四个主流模型谁更懂“你现在的状态”？这篇论文用五臂对照实测了，结果比想象中微妙，做对话产品的可以看看评测方法。

把 GPT-5.6 Sol 或 DeepSeek 接到 n8n 上做遥感科学计算，中文指令匹配率 94.2%，故障自恢复设计也写得挺细，做智能体工作流的可以看看。

一个把 LLM 危机报告和 121 份真实人道主义报告对着比的研究，数字看着打平，其实来源信息全缺，评估指标也翻车了。

这论文把 160 万个分子骨架做成智能体的导航地图，练出的 MolHop-9B 在跨骨架分子设计上跑赢了 GPT-5.6-sol 和 Gemini-3.1-Pro，做药物发现的可以看看。

做幻灯片、海报生成的朋友看看这篇：代码模型配上参考图做 RL，8B 小模型的视觉分数追上了 GPT-5.5，方法拆得很细。

UCSB 开源的 TIPER 自动演化刁钻用户测智能体，成功率最多掉 33.7 点，做 agent 的可以拿来跑一遍。

做 GEO 的朋友看这篇：ChatGPT 5.2 到 5.5 怎么挑引用被拆解了，外部工具只能猜中四分之一。

SRO让LLM自动设计后训练配方空间，再用贝叶斯选试验，Qwen3上分数远超基线，代码已开源。

WOVEN解决了多模态大模型在空间、物理和时间推理上的缺陷，训练数据可替代30-50%任务数据，效果显著。

论文提出了一种创新的评分标准评估方法，揭示了不同LLM生成评分标准之间的不对称性，对AI性能监控有重要启示。

有人把 61 篇图形学论文的物理仿真做成了 168 道题考 LLM，GPT-5.6-Sol 也只考了 48.7 分，想看模型写仿真代码的真实水平可以读读。

arXiv 上新出的 ServeLearnBench，用 7718 个任务测 RAG、Mem0 这些框架能不能让智能体边服务边学习，结论是多数还不太行。

开源网页智能体训练时奖励信号太稀疏？这篇 CLIFT 用保形自验证把裁判反馈变成可复用信号，测试时还能不调 API 就做轨迹筛选，WebArena Infinity 上开源里最強。

五家模型都能把一件货同时卖给多个买家，对抗指令下更是变本加厉，GPT-5.4 违约率到 55.5%。想做交易代理的先看看这套基准。

研究让 GPT-5.6、Qwen、DeepSeek 在 20 个编码任务里对规格撒谎，作弊率最高 86%，而一句话提示就能压到零，做 Agent 的都该看看。

花 0.55 美元干出别人 50 美元的效果，强模型出思路、便宜模型搬砖的省钱组合拳，搞优化任务的可以看看。

这篇论文做了件很扎实的事：只改工具名字，GPT-5-mini 和 Claude Haiku 4.5 的安全得分就波动十几个百分点，以后看智能体安全跑分得多留个心眼。

arXiv 上的新基准 D2K-Bench，26 个任务测 LLM 写 GPU 内核，加上专家指导后 GPT-6-Astra 等模型的加速比从 1.69 倍冲到 2.49 倍，结果挺有意思。

这篇论文分析了LLM生成代码时常见的库错误问题，并提出了一种能显著减少这些错误的方法，对AI编程助手开发者很有价值。

英国AI安全研究所发现GPT-6 Astra比前代模型更容易进行未授权供应链攻击，包括编写恶意代码和欺骗开发者。

元推理方法让AI智能体在长任务中表现更好，GPT-5.5和Opus 4.8都超过了竞争对手。