SWE-Bench 相关 AI 资讯 · AITOP

8月28日

18:08

官方账号arXiv cs.AI@Dewu Zheng, Ruizhe Ye, Yanlin Wang, Yang Ye, Hongyu Zhang, Ensheng Shi, Xilin Liu, Yuchi Ma, Jianxing Yu, Zibin Zheng

精选73°

SWE-Prime是一种多粒度、两阶段的SFT数据选择方法。该方法在轨迹级别筛选高质量代表性子集，在段落级别评估各段落对解决方案的贡献度和学习价值。实验显示，使用SWE-Prime选择的10%轨迹子集进行训练，在SWE-Bench Pro和SWE-Bench Verified基准上分别获得12.2%和24.2%的相对性能提升。

论文 SWE-Prime SFT SWE-Bench

推荐理由：SWE-Prime用10%数据训练就能超越全数据效果，解决了软件工程领域模型训练数据质量低的问题。

原文

7月21日

09:29

官方账号arXiv cs.AI@Utopia Meng, Unicornt Zhao, Derek Li, Goalen Gao, Frank Du

Talaria是一个会话感知的无服务器多模型推理系统，针对工具使用代理的会话连续性优化。在单台TP=8服务器上，用30个SWE-Bench会话（960次调用）测试三个超百亿参数模型。相比轮询调度器（无会话预填充、主机KV恢复和D2D分段），p50会话完成时间从1000秒降至189秒（加速5.3倍），p95从2296秒降至867秒（加速2.6倍）。

论文 Talaria SWE-Bench LLM

推荐理由：这篇论文的Talaria系统把工具代理场景下百亿参数模型的p50延迟从1000秒降到189秒，挺实用的加速方案。

原文

7月8日

03:16

elvis@omarsar0

精选73°

Stanford、NVIDIA、UC Berkeley 提出一种无需微调的验证器，直接从评分 token logits 读取连续校准分数。通过三个旋钮——分数粒度、重复评估、标准分解——提升准确率。在 Terminal-Bench V2 达 86.5%，SWE-Bench Verified 78.2%，RoboRewardBench 87.4%，MedAgentBench 73.3%。该连续分数还可作为 SAC 和 GRPO 的密集奖励，并已集成到 Claude Code 扩展中用于任务进度信号。论文见 arxiv.org/abs/2607.05391。

论文 verifier training-free SWE-Bench

事件专题

推荐理由：斯坦福等团队出了个不用微调的验证器，用 token logits 读连续分数，SWE-Bench 干到 78.2%，还能给强化学习当奖励信号，很实用。

原文

7月7日

11:39

官方账号arXiv cs.AI@Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

LLM-as-a-Verifier通过计算评分token logits的期望生成连续分数，替代传统的离散评分方法。该框架从评分粒度、重复评估和准则分解三个维度缩放验证能力，在Terminal-Bench V2上达86.5%，SWE-Bench Verified上达78.2%，RoboRewardBench上达87.4%，MedAgentBench上达73.3%。其细粒度信号可用于任务进度估计和RL训练，在SAC和GRPO上提升样本效率。论文还提供了Claude Code扩展，帮助开发者监控代理系统。

论文 LLM-as-a-Verifier 验证框架智能体

事件专题

推荐理由：这篇论文提出一种不依赖额外训练的验证框架，用连续分数替代离散评分，在四个agent基准上刷新了成绩，还顺手提升了RL样本效率。

原文

6月28日

05:01

ollama@ollama

精选

Ollama 宣布支持运行 Ornith 1.0 系列模型，包括 9B、31B Dense、35B MoE 和 397B MoE 四个版本。该模型在 SWE-Bench verified 上达到 82.4，Terminal-Bench 2.1 得分 77.5，多语言 SWE-Bench 得分 78.9。它基于 Gemma4 和 Qwen3.5 后训练，采用强化学习联合优化 scaffold 和解决方案。所有模型以 MIT 许可证开源，支持商业和研究用途。

AI模型 Ollama Ornith SWE-Bench

事件专题

推荐理由：Ollama 现在可以直接跑 Ornith 编程智能体了，从 9B 到 397B 都有，SWE-Bench 拿了 82.4 分，本地搞智能体编码超方便。

原文

6月25日

23:37

berryxia@berryxia

Ornith-1.0 模型家族覆盖 9B 到 397B MoE 全尺寸。在 Terminal-Bench、SWE-Bench 等 agent coding 基准上达到当前开源模型顶尖水平。其训练方式使用 RL 同时优化任务脚手架和最终解决方案。模型全系列 MIT 开源，并提供了 GGUF 版本，可在 Ollama、Unsloth 等工具中直接运行。

AI模型 Ornith-1.0 Terminal-Bench SWE-Bench

推荐理由：Ornith-1.0 用 RL 教模型搭执行框架，在 SWE-Bench 上表现顶尖，本地党还有 GGUF 版本可玩。

原文

6月13日

13:17

官方账号Amazon Science@AmazonScience

精选

Amazon 研究人员推出 Simple Strands Agent (SSA)，这是一个轻量级开源框架。SSA 在 SWE-Bench-Verified、SWE-Bench-Pro 和 Terminal-Bench2 三个基准上均达到当前最优 (SOTA)。该框架通过缩小模型意图与执行之间的差距来提升性能。SSA 的设计强调简洁与可复现性。

AI模型 Simple Strands Agent Amazon SWE-Bench

事件专题

推荐理由：轻量开源，三个基准登顶

原文

5月23日

23:09

rohanpaul_ai@rohanpaul_ai

精选76°

论文 Meta 编码智能体测试时扩展

推荐理由：这篇论文戳中了编码智能体效率低下的核心痛点——不是试得不够多，而是记不住经验。做 AI 编程工具或智能体开发的团队，可以直接借鉴其摘要复用和锦标赛选择方法，值得点开看看。

原文