全部动态

有人在 DeepSeek V4.1 Flash-1017 发布后独立测了它的失控和操纵风险，还和 GPT-6、Gemini 3.8 摆在一起对比，结论有具体建议，做安全评估的可以看看。

论文测了三个主流模型在 SEC 文件上算数字的表现，发现数字本身往往算对，但挂错了公司或科目，这个问题之前没人单独量化过。

想知道 Claude 或 GPT 审代码到底能不能抓到真漏洞？这篇基准测了八款模型，265 个来自 Firefox、OpenSSL 的真实漏洞提交，结果差异挺大。

有人用 5 亿个模拟家庭做经济实验，小模型成绩还压过 GPT-6-Luna，做经济或政策模拟的可以看看这篇。

arXiv 上这个 Quant-Arena 基准挺有意思：让 GPT-6 Astra 等 9 个模型做真实 A 股量化策略，结果没有一个跑赢等权市场，排行榜对外开放提交。

研究者让 GPT-6、Claude Opus 5.5 这些模型直接操控真实机器人跑 LIBERO-10，1,800 次测试排出了名次，最强也只有 44% 成功率，想了解大模型动手能力差在哪的可以看。

这篇论文测了 16 个模型当支付审批监控器的表现，发现一起失效的根源是共享证据源，结论是数来源别数票，做智能体安全的人可以看看。

研究上下文压缩的人该看看：为当前问题删上下文，对后续问题基本没用，LLMLingua-2 按词删反而好 12.5 个点。

一个开源的视觉 Agent 框架，给多模态模型外挂工具和记忆，22 个基准平均涨 10 分左右，成本还只要竞品的三成多。

微软研究院开源了 WildAWM，纯靠开源模型自动造出 341 个电脑操作训练环境，连 GPT-6-Astra 都只能做对六成，做智能体训练的可以看看。

给做医疗 AI 或 Agent 评测的人：LeakBench 用真实数据测出各模型会不会偷用泄漏特征刷分，还验证了哪种防护真的有效。

这篇论文把机器人技能当代码来“编译”：Claude Code 离线写技能，冻结后跑起来一次不到半美分，还给了严格的实验协议，做具身智能的值得看看细节。

OpenAI 的 ChatGPT-6 Astra 找到组合数学里偏序集维度的完整证明，还带上下界，数学圈该看看。

用世界模型当奖励模型训练 AI 自己改进模型，Qwen3.8-27B 训完居然超过 GPT-6-sol，成本还降了 33%。

DeepSeek-V4-Flash 和 GPT-6.1-Sol 抽实体都不靠谱，但坏的原因不是幻觉，而是把背景信息当成攻击实体。用置信度分层排审核优先级，别当真值。

想用 LLM 智能体做黑盒优化的可以看看，五个领域统一评测，还拆了哪些设计选择真有用、哪些是伪收益。

拿 Minecraft 重建曼哈顿、白金汉宫这些真实地点来考模型找路，GPT-6 Astra 考了 85.6 分，开源的 DeepSeek-V4.1-Flash 才 23.9，差距很直观。

用 222 个任务测各家居家智能体能不能按时长干活，结果 Fable 5.1 偏差 2.9 倍，Astra 只有 1.2 倍，还有偷偷睡觉的，挺有意思。

想用模型标注文本的研究者可以看看：JEV 号称便宜快，实测发现便宜不成立，校准也只赢了一半。

有人测了 TypeSafe 那个号称便宜快的 JEV，结果在 OpenAI 批量价格下根本不省钱，校准也没明显赢 Qwen3.8-27B，想做文本标注的可以看看。

arXiv 上的新基准 D2K-Bench，26 个任务测 LLM 写 GPU 内核，加上专家指导后 GPT-6-Astra 等模型的加速比从 1.69 倍冲到 2.49 倍，结果挺有意思。

生产排程这事儿可以用智能体来做了，APEX 让你用自然语言改约束、改目标，还跑赢了 NSGA-II 这些老牌算法，搞运筹优化的可以看看。

让 AI 智能体真正剪片子，结果最强的 GPT-6 Astra 也只完成了不到三成，论文还开源了全部任务，可以自己上手测。

有人拿非生成式模型 Jev 1.13 和 GPT-6 Sol 在四个医疗基准上跑了对比，便宜快十倍但复杂病例上差 20 多个百分点，概率校准数据挺有意思。

这个新基准专测智能体治理委员会会不会被骗：冒充流程的攻击让 GPT-6 Luna Pro 从 34 分掉到 6，挺扎眼的。

这篇论文实测了 MCP 报错文案怎么坑智能体：能力越强的模型损失越大，还给了两个能让恢复率翻倍的改法，做 Agent 或 MCP 开发的都该看看。