Google 论文: gated 模块化编辑让自改进 Agent 省近 10 倍 token
这篇 Google 论文用 142 行 harness 做实验,发现整段重写比逐模块门控编辑多花近 10 倍 token,只多 2.5% 准确率。做 agent 框架的开发者该看看,尤其想把自改进流程落到生产环境的话,门控和代码级约束的思路很实用。
Google 新论文研究自改进 agent harness 的优化方式,发现无约束的整段重写虽然准确率更高,但 token 成本接近门控模块化编辑的 10 倍。harness 指模型外围代码,负责管理上下文、运行工具、在停止前检查结果,为单一模型调优的 harness 换到其他模型时容易停滞或浪费 token。
实验让优化模型改进一个 142 行、分为 4 个部分的编码 harness,每次只允许编辑其中 1 个模块,且编辑必须通过验证集和 token 上限,否则被拒绝。在 40 个 held-out SWE-bench Lite 任务上用 Gemini 3.8 Flash 测试:门控 harness 解出 40.0%(种子为 5.0%),每任务耗 46.7k token;无检查的整段重写解出 42.5% 但每任务耗 451.6k token;仅用提示词规则约束则准确率跌到 2.5%。
论文的工程结论是:让 agent 调优自身 harness 时,每次改动都应以 held-out 任务和 token 成本作门控,且规则用代码强制执行而非写在提示词里。对构建 agent 系统的开发者,这意味着验证门控和模块化编辑是控制自改进成本的关键手段。
New Google paper finds that an unchecked full rewrite of an agent harness matched accuracy but cost nearly 10 times more tokens per task than gated modular edits.
that self-improving agent harnesses work best when they change 1 code module at a time and must pass validation.
The harness is the code around a model that manages context, runs tools, and checks work before stopping. A harness tuned for 1 model often stalls or wastes tokens on another.
They let an optimizer model improve a 142-line coding harness by editing 1 of its 4 parts at a time. Each edit had to pass a validation set and a token cap, or it was rejected.
On 40 held-out SWE-bench Lite tasks with Gemini 3.8 Flash, the gated harness solved 40.0% against 5.0% for the seed, using 46.7k tokens per task. A full unchecked rewrite solved 42.5% but used 451.6k tokens, and prompt rules dropped accuracy to 2.5%.
If you let agents tune their harness, gate each change on held-out tasks and token cost, and enforce rules in code, not prompts.
本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Google、SWE-bench、agent harness、智能体,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「rohanpaul_ai」(@rohanpaul_ai),经 AITOP 多维评分管线结构化提炼。