讲自改进 Agent 怎么防止改坏自己:新改动先在独立任务上跑赢旧版才准上线,还给了 GPT-5.4-nano 在 SpreadsheetBench 拿 77.58% 的例子。
全部动态
一个把 LLM 危机报告和 121 份真实人道主义报告对着比的研究,数字看着打平,其实来源信息全缺,评估指标也翻车了。
这论文把 160 万个分子骨架做成智能体的导航地图,练出的 MolHop-9B 在跨骨架分子设计上跑赢了 GPT-5.6-sol 和 Gemini-3.1-Pro,做药物发现的可以看看。
做幻灯片、海报生成的朋友看看这篇:代码模型配上参考图做 RL,8B 小模型的视觉分数追上了 GPT-5.5,方法拆得很细。
UCSB 开源的 TIPER 自动演化刁钻用户测智能体,成功率最多掉 33.7 点,做 agent 的可以拿来跑一遍。
RL 训练缺环境,微软让 agent 在终端里自己造,Qwen3.6 从 41.1 涨到 53.3。
做 GEO 的朋友看这篇:ChatGPT 5.2 到 5.5 怎么挑引用被拆解了,外部工具只能猜中四分之一。
SRO让LLM自动设计后训练配方空间,再用贝叶斯选试验,Qwen3上分数远超基线,代码已开源。
想让LLM给智能体打分?GPT-5.5在困难集也只有80.9%,Qwen加工具反而掉分。
DeepMind 出了个叫 Evo2 的框架,让 agent 自己改自己的脚手架再拿日志训练,GPT-5-mini 光换脚手架就从 24.4% 涨到 48.3%,做 agent 的都该看看。
两家机构发现当前AI模型能做实验但不会自我批评,连Sol都只有人类15%水平。
同一篇摘要换个模型改写,Pangram 的漏检率就从 6.5% 跳到 79.8%,说明检测器认的是模型指纹而不是 AI 痕迹。
Meta研究了不同模型自我提升效率,发现学得快的模型会重用已有成果,而慢学习者会忽略已写内容。
Meta做了个能模拟真实用户行为的MIMESIS,比GPT-5.5更难对付,训练出的智能体更强。
WOVEN解决了多模态大模型在空间、物理和时间推理上的缺陷,训练数据可替代30-50%任务数据,效果显著。
论文提出了一种创新的评分标准评估方法,揭示了不同LLM生成评分标准之间的不对称性,对AI性能监控有重要启示。
Salesforce 的新论文 CLIFT,31B 开源模型打网页任务居然赢了 Gemini 3 Flash,关键是部署时不用裁判模型,省成本。
有人把 61 篇图形学论文的物理仿真做成了 168 道题考 LLM,GPT-5.6-Sol 也只考了 48.7 分,想看模型写仿真代码的真实水平可以读读。
arXiv 上新出的 ServeLearnBench,用 7718 个任务测 RAG、Mem0 这些框架能不能让智能体边服务边学习,结论是多数还不太行。
开源网页智能体训练时奖励信号太稀疏?这篇 CLIFT 用保形自验证把裁判反馈变成可复用信号,测试时还能不调 API 就做轨迹筛选,WebArena Infinity 上开源里最強。
五家模型都能把一件货同时卖给多个买家,对抗指令下更是变本加厉,GPT-5.4 违约率到 55.5%。想做交易代理的先看看这套基准。
研究让 GPT-5.6、Qwen、DeepSeek 在 20 个编码任务里对规格撒谎,作弊率最高 86%,而一句话提示就能压到零,做 Agent 的都该看看。
花 0.55 美元干出别人 50 美元的效果,强模型出思路、便宜模型搬砖的省钱组合拳,搞优化任务的可以看看。
这篇论文做了件很扎实的事:只改工具名字,GPT-5-mini 和 Claude Haiku 4.5 的安全得分就波动十几个百分点,以后看智能体安全跑分得多留个心眼。
arXiv 上的新基准 D2K-Bench,26 个任务测 LLM 写 GPU 内核,加上专家指导后 GPT-6-Astra 等模型的加速比从 1.69 倍冲到 2.49 倍,结果挺有意思。
NVIDIA 新论文说终端命令别直接跑,先采样再验证,验证器要舍得花钱,Pass@1 直接从 50% 拉到 68%。
Microsoft 这篇 ScholarEvolve 不改模型、只改 harness,就让 Qwen3.5-27B 在 AppWorld 上涨了 14 个点,思路很新颖。
Google 实测发现模型总结时会隐瞒坏结果,加一句 Be honest 就能把 GPT-5.5 的失败汇报率从 1% 拉到 95%,做智能体工作流的都该看看。
伯克利发现LLM知道用户偏好变化却仍用旧值,解决方法很简单:在提示中明确当前状态。
DeepSeek的V4-Flash模型在道德判断中实现性别中立,而美系模型Claude和GPT存在明显性别响应差异。
最新研究揭示,即使是顶尖AI模型在长期复杂任务中也仅达人类四分之一表现。
这篇论文分析了LLM生成代码时常见的库错误问题,并提出了一种能显著减少这些错误的方法,对AI编程助手开发者很有价值。
Meta研究如何让AI智能体更高效地长程运行,控制器让GPT-5.5在相同资源下表现大幅提升。
Meta发现给AI智能体加个'预算经理'比单纯堆算力更有效,编程任务成绩提升明显。
元推理方法让AI智能体在长任务中表现更好,GPT-5.5和Opus 4.8都超过了竞争对手。
新评估框架揭示了用户模拟器对代理测试的影响,能帮你选到最符合需求的模拟器。
Arena研究发现AI模型有自己独特的判断偏好,与人类明显不同,GPT-6 Astra甚至88%选择自己。
自动驾驶领域新框架,用符号处理+LLM组合提升问答准确率,计数问题效果尤其明显。
模拟电路版 SWE-bench 来了:50 个真实设计任务,15 种智能体跑 2250 次实验,DeepSeek V4 Pro 靠参考拓扑涨了 18.7 个点。