全部动态

把 PyTorch 仓库自动改成 JAX 版的智能体测评，Claude Opus 5 通过 75%，其他模型差距挺大，做工程自动化的可以看看。

一个开源的技能检索方案，检索基准 NDCG@10 从 64.0 提到 70.9，ToolQA 上比 BM25 和 RankGPT 多完成不少任务，做智能体的可以看看它的 KeyOpt 思路。

三个主流模型做审批时都会被历史案例带偏：结论标签拉高批准率，案例事实反而压低。做 RAG 或判例检索的值得看看这两部分怎么分开测。

机器人圈的朋友看看，这个新基准专门测 LLM 做 ROS1 迁移 ROS2 的能力，六个主流模型 pass@1 都不到 11%，编译过了运行挂是重灾区。

一篇写代码安全的论文：三个探索智能体分工分析漏洞再汇总修复，缺 PoV 测试也能修，成绩比 EvoRepair 高出最多 25.4 个百分点。

Amazon Science 做了个开源评测场，专门测预测工具质量怎么影响 LLM 智能体谈判，跑了四个主流模型，结论挺反直觉。

研究者把提示词拆成请求和操作两部分分别翻译，发现 Mistral Small 4 换成西班牙语后拒绝率掉了 13.7 个点，Gemini 2.5 Flash 和 DeepSeek 则基本没变化。

微软这篇论文做了个自动越狱攻击器，对 GPT-5.4、Claude-Haiku-4.5 这些模型的攻击成功率近六成，做 AI 安全的得看看对手手段。

有人在 DeepSeek V4.1 Flash-1017 发布后独立测了它的失控和操纵风险，还和 GPT-6、Gemini 3.8 摆在一起对比，结论有具体建议，做安全评估的可以看看。

一篇时序因果推理的论文，8.6B 参数的 TCR-Former 在 TempoCausal 上赢了 GPT-5.4 和 DeepSeek-V3.2，思路是把因果图塞进注意力机制里。

评测 GUI 智能体老盯着静态截图，这篇造了 601 个目标先藏起来的任务，人能拿 94.6%，GPT-5.5 只有 79.4%，差距到底卡在哪写得很清楚。

反着研究谄媚挺有意思：模型自信但说错时，人反而全盘照收。1040 条数据显示信任校准会失效，做 AI 教育产品的可以看看。

一篇讲怎么让 Agent 框架自动进化的论文，产出的 harness 比之前的 RHO 又快又便宜，代码已开源可以直接看。

PHREEQC 模拟结果固定不变，只是让 GPT-5.2 按需检索报告就掉 9.4 分，原因是它改用自己的输出文件瞎舍入。Claude 系列反而没受影响，做 agent 上下文管理的值得对比看看。

拿四个 LLM 模拟欧洲四国调查，看谁能复现真实的年龄差距，结果三个模型翻车，适合做问卷模拟的人看看。

做 Agent 长任务的朋友看看这篇：把设计意图存图里、用确定性控制器核对交付物，19 个领域、228 个任务的基准测下来，同一模型约束满足率高出基线 14-25%。

四个主流模型谁更懂“你现在的状态”？这篇论文用五臂对照实测了，结果比想象中微妙，做对话产品的可以看看评测方法。

把 GPT-5.6 Sol 或 DeepSeek 接到 n8n 上做遥感科学计算，中文指令匹配率 94.2%，故障自恢复设计也写得挺细，做智能体工作流的可以看看。