SWE-bench 相关 AI 资讯

论文 Agent 与开发者多源确认精选21:46

NVIDIA 公开智能体编程中间训练配方，SWE-bench Multilingual 提升 7 分

NVIDIA 开源了一个中间训练配方，给 Nemotron 加一段 500B token 的软件工程数据训练，SWE-bench 多语言直接从 55.8 涨到 62.8，自己训练编程智能体的可以照抄。

#NVIDIA #Nemotron #SWE-bench #智能体编程

事件专题

DAIR.AI@dair_ai11 个信源在谈原文

论文 Agent 与开发者多源确认精选09:41

System1-Arena 基准：哪些决策可以交给 System 1 模型

这篇论文测了 30 个模型在 92k 道决策题上的表现，告诉你什么时候该用一步出概率的 System 1 模型，什么时候必须上推理模型，延迟和成本差得很实在。

#System1-Arena #OpenAI Decisions API #SWE-bench #推理模型

事件专题

arXiv: OpenAI@Tianyu Chen 等 5 人11 个信源在谈原文

论文 Agent 与开发者精选12:49

Penn State 与 Microsoft Research 提出 Behavioral Self-Rewarding 改进 SWE 智能体训练

训练编程智能体只看测试通过与否，组内全过或全败就没信号。这篇论文让模型自己 pairwise 比较轨迹当奖励，Qwen3-14B 白拿 2.6 个点。

#SWE-bench #Qwen3 #Microsoft Research #强化学习

DAIR.AI@dair_ai原文

论文 Agent 与开发者多源确认12:32

LAGO：把专用语言代理变成可复用选项，SWE-bench 解决 58.6%

新论文 LAGO：把成功子任务存成可复用选项库，不改权重跨任务变强，SWE-bench 上跑赢 mini-SWE-agent 和 Terminus 2。

#LAGO #SWE-bench #Qwen3.5 #mini-SWE-agent

事件专题

arXiv cs.AI@Yuran Wu 等 8 人4 个信源在谈原文

论文 Agent 与开发者精选23:20

Google DeepMind 提出 Evo2 框架：让智能体的脚手架与模型权重共同进化

DeepMind 出了个叫 Evo2 的框架，让 agent 自己改自己的脚手架再拿日志训练，GPT-5-mini 光换脚手架就从 24.4% 涨到 48.3%，做 agent 的都该看看。

#Evo2 #Google DeepMind #SWE-bench #GRPO

elvis@omarsar0原文

论文 Agent 与开发者多源确认精选23:43

Nvidia 论文：用首个通过测试的编辑给基座模型排序，相关性达 0.964

Nvidia 发的这篇论文教你在花大钱 post-train 之前，用一个便宜方法挑出最适合做 agent 的基座模型，和 SWE-bench 排名对得上 0.964。

#Nvidia #SWE-bench #基座模型 #微调

事件专题

rohanpaul_ai@rohanpaul_ai11 个信源在谈原文

论文 Agent 与开发者精选18:50

Gary Marcus：符号验证并非"基础"技术，SWE-bench 分数高度依赖 harness

Marcus 转了条推，讲为什么 SWE-bench 同一模型换个 harness 分数差很多，还捋了符号验证一百年学术史，观点挺硬核。

#Gary Marcus #SWE-bench #符号验证 #AI安全

Gary Marcus@GaryMarcus原文

论文 Agent 与开发者17:55

研究：SWE-bench 上通过测试的补丁近半数存在运行性能差异

四个前沿模型解 SWE-bench，通过测试的补丁一半有性能差距，模型性能排名还和解决率反着来，做工程的人可以看看。

#SWE-bench #SWE-agent #Claude Opus 5 #GPT 5.6

arXiv: DeepSeek@Han Peng 等 5 人原文

论文 Agent 与开发者精选73°06:52

微软研究：编码代理在代码理解上易出错

微软发现编码代理在代码理解上容易出错，建议测试时重点评估阅读和比较代码的能力。

#CABRA #编码代理 #Microsoft #SWE-bench

rohanpaul_ai@rohanpaul_ai原文

模型 Agent 与开发者10:20

OnTrack：实时监控LLM代理轨迹

OnTrack实时监控LLM代理，比传统方法更快发现问题，能提前18%节省计算资源。

#OnTrack #LLM Agent #流式监控 #SWE-bench

arXiv cs.AI@Babak Barazandeh 等 4 人原文

产品 Agent 与开发者多源确认精选73°02:00

RSIGym提升研究代理性能

Evolvent AI把RSI变成系统工程问题，Opus 5在RSIGym上性能翻倍，还发布了完整代码和实验数据。

#RSIGym #Opus 5 #Evolvent_AI #研究代理

事件专题

elvis@omarsar04 个信源在谈原文

模型 Agent 与开发者官方一手00:45

JetBrains 发布 Mellum2.1：12B MoE 开源编程智能体模型

JetBrains 开源了编程模型 Mellum2.1，Apache 2.0 协议随便商用，SWE-bench Verified 干到 47 分，跑智能体可以试试。

#Mellum2.1 #JetBrains #SWE-bench #开源模型

官方一手marktechpost@Asif Razzaq原文

产品 Agent 与开发者多源确认14:18

Claude Opus 5 在 RSIGym 中将 Qwen 模型 SWE-bench Verified 成绩提升近三倍

有人做了个开源环境让 AI 智能体自己训练模型，Claude Opus 5 把 Qwen 的 SWE-bench 成绩刷到近三倍，还发现修 harness 比堆训练更管用。

#Claude Opus 5 #Qwen3.5 #SWE-bench #RSIGym

事件专题

rohanpaul_ai@rohanpaul_ai7 个信源在谈原文

论文 Agent 与开发者11:50

新方法：用训练后轨迹预测基座模型的编程智能体潜力

训练一个编程智能体很烧钱，这篇论文教你怎么先挑基座模型，用 SWE-bench 的现成轨迹就能筛，方法挺巧的。

#SWE-bench #智能体 #编程助手 #pass@K

arXiv cs.AI@Tan Yu 等 22 人原文

模型中美对照71°03:33

Reflection 发布 Beam：501B 参数 MoE 模型，本月开放全部权重

Reflection 的 Beam 开源在即，501B 参数只激活 23B，SWE-bench Verified 拿到 80.9 分，效率号称比 GLM 5.2 高 3-4 倍，写代码跑智能体的可以盯一下。

#Reflection #Beam #GLM #SWE-bench

kimmonismus@kimmonismus原文

论文 Agent 与开发者多源确认精选00:02

SelfSearch：智能体自改 harness，$4.03 达到 Codex 水平

DeepSeek V4 Flash 加自改 harness，花 4 美元搜索就在 Terminal-Bench 上追平 Codex，SWE-bench 还省了近四成开销，做智能体的都该看看。

#SelfSearch #DeepSeek V4 Flash #Terminal-Bench #SWE-bench

事件专题

elvis@omarsar03 个信源在谈原文

论文 Agent 与开发者精选20:56

UT Austin 研究：压缩上下文可能让智能体更慢而非更快

UT Austin 跑了3.5万次实验发现：为了省 token 压缩上下文，可能反而让智能体慢 20%-80%，而且策略换模型就失效。

#Qwen #Devstral #SWE-bench #智能体

elvis@omarsar0原文

论文 Agent 与开发者精选01:29

AutoCompact：训练智能体自主决定上下文压缩时机

一篇教智能体自己决定何时压缩上下文的论文，SWE-bench 上提了 9.2 个点，做 Agent 上下文管理的可以看看思路。

#AutoCompact #SWE-bench #智能体 #上下文管理

elvis@omarsar0原文

论文 Agent 与开发者精选03:42

Meta发布智能体优化新方法

Meta这篇论文改进了智能体优化框架，通过分支策略避免了局部最优，多项基准测试显著提升。

#Meta #智能体 #Meta-Harness #Olympiad

DAIR.AI@dair_ai原文

论文 Agent 与开发者精选09:54

SelfSearch：无奖励搜索提升智能体自我改进

SelfSearch让智能体用历史经验自我改进，省钱又高效，Terminal-Bench上提升11.2%，SWE-bench降成本38.5%。

#SelfSearch #智能体 #Terminal-Bench #SWE-bench

事件专题

arXiv: DeepSeek@Jungwoo Yang 等 3 人2 个信源在谈原文

论文 Agent 与开发者精选10:46

SelfSearch：无奖励搜索提升智能体自我改进

SelfSearch让智能体通过自我修改记录提升能力，无需下游奖励信号，成本更低效果更好。

#SelfSearch #智能体 #Terminal-Bench #DeepSeek V4 Flash

事件专题

arXiv: DeepSeek@Jungwoo Yang 等 3 人2 个信源在谈原文

论文 Agent 与开发者10:25

LLM代理执行计划声明研究

研究发现LLM代理常无法执行已声明的计划，提出规划即路由方法，显著提升任务成功率。

#LLM Agents #Planning-as-Routing #ALFWorld #SWE-bench

arXiv cs.LG@Subba Reddy Oota 等 5 人原文

论文 Agent 与开发者14:07

ROFT：只用自我复盘微调，Qwen3.5-4B 不靠强化学习也能提升智能体表现

Qwen3.5-4B 只靠写复盘解释做微调，不用奖励模型就在 SWE-bench 上跑赢 GRPO，做智能体训练的可以看看这套 ROFT 流程。

#Qwen3.5-4B #SWE-bench #GRPO #ROFT

arXiv cs.AI@Jonathan Light 等 10 人原文

论文 Agent 与开发者14:01

TokenCast 论文：预测 LLM Agent 执行中的 Token 消耗

跑 Agent 最怕 token 预算失控，这篇论文的 TokenCast 能边执行边预测消耗，实测省 21.3% 的 token，做 agent 的都该看看。

#TokenCast #LLM Agent #SWE-bench #token成本

arXiv cs.LG@Chaoqian Ouyang 等 10 人原文

论文 Agent 与开发者11:00

arXiv 论文：代码文档对 coding agent 解决真实 issue 并无帮助

一群研究者认真测了文档到底能不能帮 coding agent，结果在 10 个仓库上翻车，还公开了打分基准和提示词，做 agent 的人该看看这个负面结果。

#coding agent #roundtrip benchmark #提示词工程 #SWE-bench

arXiv cs.AI@Md Shohel Arman, Igor Molybog原文

论文中美对照76°11:40

DeepSeek 公开 Agent 训练系统 DSec 论文，梁文锋署名

DeepSeek 把训 Agent 最难的环境基建摊开讲了：每秒造 5000 个沙盒怎么做到，容器、虚拟机、镜像加载的全套工程细节都在论文里。

#DeepSeek #Agent #SWE-bench #RL训练

事件专题

IT之家2 个信源在谈原文

论文 Agent 与开发者精选10:12

编程代理排名失去区分度，SWE-bench需新评估标准

这是篇关于编程代理排名的深度研究，作者分析了SWE-bench数据，发现现有排名标准可能不准确，推荐给对编程助手性能评估感兴趣的朋友。

#SWE-bench #编程助手 #推理模型 #评估标准

arXiv cs.AI@Fengshuo Liu 等 5 人原文

模型中美对照多源确认精选21:42

CursorBench 4.0 数据显示 Gemini 3.8 Flash 在 token 和 step 上表现突出

Claude 的开发者测试数据，能帮你了解不同模型在真实场景下的表现，比如 token 和 step 的消耗情况。

#Cursor #Gemini #Claude #SWE-bench

事件专题

shao__meng@shao__meng3 个信源在谈原文

模型中美对照精选78°09:32

Cursor 发布私有基准 CursorBench 4.0，替代公开基准评测模型

Cursor 发布了私有基准 CursorBench 4.0，用真实会话反向出题，任务更复杂，能更真实地评测模型性能。

#Cursor #私有基准 #SWE-bench #评测

shao__meng@shao__meng原文

技巧 Agent 与开发者精选73°12:15

ExecCritic：测试与修复分离的智能体框架

微软新框架让测试和修复各司其职，Qwen模型组合在代码修复任务上突破72%成功率。

#ExecCritic #Qwen-3.5-35B-A33 #SWE-bench #编程助手

arXiv cs.AI@Leitian Tao 等 10 人原文

论文精选73°12:16

双层协调反射：多智能体LLM系统的博弈论方法

清华团队提出多智能体LLM系统的博弈论框架，新算法在SWE-bench上超越基准2.2个百分点。

#多智能体 #LLM系统 #博弈论 #SWE-bench

arXiv cs.AI@Yihang Chen 等 6 人原文

模型 Agent 与开发者05:33

openJiuwen开源代理框架发布

openJiuwen框架让代理能力在运行时动态调整，性能超越现有方案，开发者可自由组装代理组件。

#openJiuwen #代理框架 #SWE-bench #Terminal-Bench

elvis@omarsar0原文

论文多源确认精选73°18:01

千图假说：代码推理中的任务条件关系物化

DeepSeek团队提出千图假说，解决大型代码库推理问题，无需预构建关系图就能达到95.6%成功率。

#DeepSeek-V4-Flash #SWE-bench #代码推理 #关系物化

事件专题

arXiv: DeepSeek@Fei Ding5 个信源在谈原文

论文12:32

CalibForge：对抗性求解器校准用于生成可学习终端任务

想给智能体造训练任务？CalibForge 让多个求解器互相挑毛病来调任务难度，比人工标靠谱，Terminal-Bench 上能涨二十多个点。

#CalibForge #Terminal-Bench #SWE-bench #Doc2Repo

arXiv cs.LG@Fanzhe Meng 等 9 人原文

论文 Agent 与开发者多源确认精选09:27

论文提出 Ledger 运行时层，把交互历史转为执行状态，提升长程编码智能体

arXiv 新论文做了个 Ledger 层，给编码智能体记账执行状态。GPT-5 mini 在 SWE-bench 从 56.2% 提到 64.2%，成本降 28.9%。

#Ledger #SWE-bench #GPT-5 mini #MiniMax M2.5

事件专题

arXiv: OpenAI@Zehao Wang 等 8 人11 个信源在谈原文

模型官方一手09:54

清华开源VeriLoop Coder-E1，证据治理螺旋驱动可验证递归自改进

清华开源了个能自己改代码的模型VeriLoop Coder-E1，SWE-bench拿85.2分，比很多大模型都强，想搞代码修复的可以试试。

#VeriLoop Coder-E1 #Qwen3.6-27B #开源模型 #代码修复

官方一手pandaily@[email protected] (Pandaily)原文

论文12:57

PAIChecker：检测SWE-bench类基准中PR与Issue不对齐

做代码基准测试的朋友可以看看，PAIChecker能自动揪出PR和Issue配错的情况，SWE-bench上准确率超九成。

#PAIChecker #SWE-bench #多智能体 #基准测试

arXiv cs.AI@Manyi Wang 等 3 人原文

论文11:27

PhoenixRepair：多智能体框架提升软件修复策略探索

新论文的PhoenixRepair能更系统地探索代码修复位置，在SWE-bench上比SWE-agent提升了7.8%，做软件工程的值得一看。

#PhoenixRepair #SWE-bench #智能体 #代码修复

arXiv: DeepSeek@Tianyue Jiang 等 10 人原文

论文 Agent 与开发者多源确认09:11

限制编码代理执行代码工具何时有帮助？跨制度和代理设计的消融研究

这篇论文用Claude Code和OpenAI Codex CLI做对比实验发现，多数情况下只让AI用代码执行工具反而更便宜，还不影响成功率。只有Claude在SWE-bench上略贵一点点。想省API成本可以看看。

#Claude Code #OpenAI Codex CLI #MCP #编码代理

事件专题

arXiv: OpenAI@Hong Yang 等 3 人11 个信源在谈原文

模型精选22:15

Netpreme X-Mem加速SGLang HiCache缓存

Netpreme的X-Mem内存插进SGLang的HiCache，多轮对话缓存带宽不再是瓶颈，TTFT降6.7倍，吞吐量涨30%，实测SWE-bench效果显著。

#Netpreme #X-Mem #SGLang #HiCache

官方账号LMSYS Org (SGLang)@lmsysorg原文