Meta 发布 AutoRefine：让 LLM 代码评审判官保持校准
Meta 这篇论文解决了一个很实际的问题：agent 一更新，judge 提示词就失效。AutoRefine 拿测试通过和 PR 合并这些现成信号自动改提示词，一致性从 0.16 拉到 0.51。做 agent 评测的工程师应该看看。
Meta 发表的 AutoRefine 论文针对 LLM 代码评审中的提示词失效问题：当被评估的编码 agent 更新后，judge 的提示词很快过时，评估结果随之失真。AutoRefine 利用团队已有的信号（测试是否通过、改动是否被合并）自动重写 judge 提示词，无需人工重新标注。在 Meta 已部署的编码 agent 上，judge 与真实结果的一致性从 0.16 提升到 0.51。论文编号为 arXiv:2611.09291。
其核心机制是把人工标注环节替换为部署流水线中天然产生的结果信号，让 judge 提示词随 agent 演化持续刷新，而不是靠人工周期性维护。这解决了 LLM-as-a-judge 在实际生产中最常见的漂移问题。
对任何在 CI 或 agent 流水线中用 LLM 评审代码质量的团队，这个思路可以直接借鉴：不需要额外标注预算，复用已有的测试与合并数据即可校准 judge。
Great paper from Meta with practical tips for tuning LLM judges. This one is on keeping LLM code judges calibrated and tested on a deployed coding agent. LLM judges often decide whether an agent's code change is good. But their prompts go stale every time the agent changes. AutoRefine fixes the prompt using signals teams already have, like whether tests passed and whether the change got merged. On Meta's deployed agent, agreement between the judge and real outcomes rose from 0.16 to 0.51. arxiv.org/abs/2611.09291 Chat with Paper: academy.dair.ai/papers/autoref…📊 11 ⚡
本条情报归属 AITOP「论文」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：LLM-as-a-judge、Meta、编码Agent、提示词工程，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「elvis」（@omarsar0），经 AITOP 多维评分管线结构化提炼。
