Claude Code 团队公开内部代码审查流程:AI 审 PR,人只签高风险改动
Claude Code 团队是如何做代码审查的? https://t.co/2J6JYFX8HF “Clark,你给我的 PR 盖章,我就给你的盖章。” 这是半年多前 Anthropic 内部的日...
Anthropic 把自己线上真实事故做成评测集来考审查智能体,这个思路很少见。效果有数字:问题检出率从 16% 到 54%,回滚少了 40%。正在被 PR 审查淹没的团队可以直接抄这套流程。
Anthropic Claude Code 团队产品经理 Morgan Lunt 分享了他们把代码审查交给 AI 智能体的做法。改用自动审查后,查出实质问题的 PR 比例从 16% 升到 54%,合并 PR 数量翻倍,需要回滚的 PR 减少 40%,目标是 90% 的 PR 合并时不需要原作者以外的人参与。
流程核心是六层防护:写代码的会话内先自测、子智能体复查,PR 提交后由托管的 Claude Code Review 做深度审查,再过安全审查、常规自动检查,最后按风险分级决定是否需要人签字。评测集不用合成 bug,而是用 Anthropic 历史上全部真实线上事故和引发事故的 PR,让审查智能体回到那个时间点重审,看能否定位到出错的具体文件和行号,用召回率和精确率两个指标评分。
团队踩过的坑包括:多个工程师各写的审查机器人在同一个 PR 上意见冲突,导致上百次提交偏离原意,后来合并为一个主审查智能体做去重和排序;为解决智能体越修越挖的收敛问题,要求一次报完所有发现,现在九成以上 PR 三轮内收敛。涉及账单、自动更新等高风险改动仍需第二人批准,由模型根据改动是否触及业务逻辑来判断。
Claude Code 团队是如何做代码审查的? https://t.co/2J6JYFX8HF “Clark,你给我的 PR 盖章,我就给你的盖章。” 这是半年多前 Anthropic 内部的日...
Claude Code 团队是如何做代码审查的? claude.dev/blog/solving-c… “Clark,你给我的 PR 盖章,我就给你的盖章。” 这是半年多前 Anthropic 内部的日常。Claude 写代码越来越快,等人审的改动排成长队,大家只好互相放行,看是谁提交的,扫一眼就批准。 Claude Code 团队的产品经理 Morgan Lunt 在这场分享里把那段时间叫作“歌舞伎表演”,审查的形式还在,其实大家只看了个大概。 后来他们让 AI 智能体接手了绝大部分审查,人只在少数高风险改动上签字。目标是 90% 的 PR 合并时,除了让 Claude 干活的那个人,不需要再找任何人。 Lunt 给出的结果是:改用自动审查后,查出实质问题的 PR 比例从 16% 升到 54%,合并的 PR 数量又翻了一倍,需要回滚的 PR 少了 40%。在他看来,这和自动驾驶是一个道理,用不着完美,比人强就够了。 瓶颈从写代码转到了审代码 PR(拉取请求)是程序员提交一份代码改动、请别人检查后再合并进主代码的流程。Lunt 说,一年前 Anthropic 和别的公司一样,几乎每个 PR 都由人来审,代码产出的速度就是人写代码的速度。 大约九个月前,模型强到可以独立做完一个功能,大家开始直接把任务丢给 Claude,产出一下子多了很多,审查就成了最慢的环节。他引用了一项哈佛的研究:企业引入 AI 编程智能体后,PR 等待审查的时间平均增加了 56%。他读那篇论文的理解是,PR 太多,人被淹没了。 Anthropic 的工程师擅长做智能体,于是很多人各自写了审查机器人,把自己审代码时关注的点写进去。结果一个 PR 上会出现七个机器人,意见互相冲突,一个机器人要的改动会惹另一个机器人不满,来回改出五十、一百甚至两百次提交,改到最后已经偏离了作者原本想做的事。 问答中他解释,冲突的原因是各个机器人关注的方向不同,有的对接口怎么设计要求很细,有的不管,而它们之间没有共享的上下文和共同的目标。他们后来把这些机器人的关注点合并进一个主审查智能体,由它在内部去重、整理。 大约今年 7 月,Claude Code 的创建者 Boris Cherny 找到 Lunt 的团队,让他们“把 Anthropic 的代码审查问题解决掉”。 团队给自己定的目标就是开头说的 90%,并按需要几个人参与把 PR 分成三类:零人参与,是 Claude 自己发现问题、自己修、自己提交、自己盯到合并;一人参与,是某个人让 Claude 做了一件事,自动系统判断没问题就直接合并,不用再找人;两人及以上,留给账单、用户登录验证、应用自动更新这类绝对不能出错的地方,而且范围尽量收窄。 同时有一条底线:回滚、紧急补救和线上事故都不能因此变多。 用自己出过的事故来检验审查 要知道审查智能体好不好,得有一套考题。他们把 Anthropic 历史上所有线上事故,以及被认定引发事故的那些 PR 整理成评测集,再请人抽查核对,没有用人为埋了 bug 的合成数据。这样考的都是在自家代码上真实出过问题的情况。 每道题的格式很简单。Lunt 现场展示了一个例子:某个 PR 合并后有客户收到了两次同一张发票,只好回滚,原因定位在某个文件的第 88 行。这道题记录的就是代码仓库在那个时间点的版本号、PR 编号、出问题的文件和行号,以及正确答案。成千上万道这样的题,就是评分标准。审查智能体被放回那个时间点去审那个 PR,看它能不能找到那一行。 衡量时看两个数。一个是召回率:标准答案里列出的问题,它找到了多少。另一个是精确率:它报出的问题里,有多少是标准答案之外、大概率不该报的。只看召回率不行,因为让智能体随便报五十万条,迟早会撞中所有答案,但真正有用的提醒就淹没在噪音里了。 在这套考题上,他们试了不同的提示词,不同的检查角度(比如专门找某类安全漏洞,或者专门找“同一个操作执行两次会不会出错”这类问题),以及不同的智能体分工结构,跑了几万到几十万次。方法就是反复试:改一处,成绩变好就留下,变差就扔掉。Lunt 说 Claude 让同时跑大量实验变得很容易。 最后定下来的流程是:先派出一批负责找问题的智能体,再派出一批负责“挑刺”的验证智能体,专门质疑前者的发现,确认是真问题;然后按严重程度排序、去重,作为评论贴到 PR 上。发现分三档:重要问题会阻止合并;小问题(nit)不阻止,留着以后想集中清理时再翻;还有一档是改动之前就存在的老问题。完全无关紧要的,在验证阶段就被删掉。 让找问题的智能体适可而止 Lunt 说他为“收敛”这件事钻研了三个星期。智能体被要求找问题就一定会找到问题,被要求修问题就一定会去修。让一个智能体找问题、另一个修,再问前一个“现在怎么样了”,它会接着找出越来越偏门、越来越鸡毛蒜皮的毛病。有段时间,智能体整夜来回找、修,一个 PR 上积累几十上百次提交,偏离用户的原意,也没人看得懂。 他们的调法是让审查智能体一次把所有发现都报出来,修完之后不再越挖越深。他说现在九成多的 PR 在三轮“审查、修复”之内就能收敛,但为此在提示词上花了不少功夫。 哪些改动还需要人看 审查之后还有一步风险分级,由一个机器人根据 PR 改了哪些文件、改了多少来决定要几个人批准。只改文档、影响面小的,直接通过;普通改动,让 Claude 干活的那个人负责就够了;涉及账单、自动更新这类高风险部分,要第二个人签字。 他们最早用的是“代码负责人”配置文件,按文件路径规定某个目录下的改动需要一个人还是两个人批准。Lunt 说这个办法太粗,后来又加了一层由大模型做的判断。比如账单相关的代码,如果改动涉及业务逻辑,就要另一个人签字,如果不涉及就直接放行。 他演示的三个例子是:修改安装指南里的错别字,不需要额外审查;给订单列表加一个日期筛选,需要一个人,因为碰到了订单;改发布流程,要发布团队的人点头,因为影响面大。权限也按团队分,他在 Claude Code 代码仓库里能做的事,其他团队的人不一定能做。 整条流程他称为六层:Claude 写代码的同一个会话里先自己跑测试、修失败、再派一个上下文干净的子智能体复查;PR 提交后由托管的 Claude Code Review 做深度审查;再过一遍安全审查;然后是常规的自动检查和测试;只有真正需要的 PR 才找人批准;最后合并。 他把这叫作“瑞士奶酪”式的防护,每一层都有漏洞,叠在一起就很难漏过去。此外,Anthropic 的产品大多通过网页和自己控制的 App 发布,新功能上线默认是关着的,先开给少量内部测试者,再开给更多外部测试者,最后才全面开放。出了问题,几分钟内就能对所有人关掉,不用改代码。 审查发现问题之后,修复也要自动化。Lunt 说内部有人用 Claude Tag,有人自己写了“盯 PR”的技能,让写这个 PR 的 Claude 会话定时去 GitHub 看有没有审查意见要处理。他的理由是,修复如果还要等人醒着、有空,提速就无从谈起。 问答中,团队的工程师把审查要回答的问题分成三层:最底层是代码风格和整洁程度;中间一层是假设这个改动的方向是对的,它写得对不对、安不安全;最上层是这个功能该不该做、方向对不对。自动审查擅长的是中间这层,最上层留给人。Lunt 补充说,他们刻意不让审查智能体管得太宽,不会因为它觉得不妥就拦住你明确要做的事,所以防止有人往代码库里塞恶意改动,仍然要靠团队自己。 普通团队可以怎么照着做 Lunt 建议想引入自动审查的团队,先用自家的事故记录建一套评测集。大多数公司都有事故追踪系统,让 Claude 从里面提取被认定引发事故的 PR 编号,按上面的格式整理,他估计几天就能做完。之后可以拿它比较不同的审查产品,也可以拿它调审查规则。他说自己对 Anthropic 的产品很有信心,但不希望大家凭他的感觉选产品,更希望各家用自己的评测证明这些工具可靠,有了这个底气才能放心撤掉人工检查。 工程师补充了一个更简单的检验办法:拿以前人审过的 PR,让自动审查回到那个时间点再审一遍。人当时提了三条意见,看它是不是都找到了,或者找到了更重要的;它没找到的那些,再看是不是真的重要,还是只是小问题,或者最后证明什么事都没有。 具体调法上,用 Claude Code Review 的仓库可以在根目录放一个 REVIEW.md 文件,专门写给审查智能体看:哪些问题要重点查,哪些不用管。比如自动生成的代码不用看,代码风格已经有自动检查工具管了不用提,小问题最多报几条,发现要按什么格式写,方便交给负责修复的智能体。Lunt 现场演示了加规则前后的对比,加之前是一条重要问题加一串小问题,加之后只剩重要问题。原来的 CLAUDE.md 则继续写所有参与这个仓库的人和智能体都要遵守的规矩,比如用 Tab 还是空格、按什么原则分层。审查时也会检查改动有没有违反 CLAUDE.md 里的规矩。 规则还可以持续改进。Anthropic 内部有每周自动运行的任务,专门去翻人在 PR 上留的评论,Lunt 说现在这类评论已经不多了。如果有人回复审查意见说“这其实不是问题,因为……”,任务会从中提炼出规则补进 REVIEW.md,下次就不再犯同样的错。他说这类反驳意见是非常有用的反馈,团队偶尔抽查一下 PR、在不同意的地方留句评论就够了。 在内部推广时,Lunt 说 Anthropic 的人都看数据,他们把评测里和每个团队相关的事故单独挑出来,给那个团队看效果,大家很快就有了信心。另一个原因是很多人早就不想再维护自己的审查机器人了,交出去之后,审查出了问题直接找他们团队修就行。工程师补充说,各团队都有自己盯着的指标,比如回滚和紧急补救的次数、事故数量、稳定性有没有下降,交出审查之后这些都要看,而大家的效率普遍提高了。 审查放心之后,能做以前不敢做的事 Lunt 说,当你确信审查流程能挡住一切不合格的改动,不管进来什么改动都不怕出事,工作方式就变了。别的团队急需你代码库里的一个功能,不用等你排期,可以直接提一个 PR,在 Slack 上打声招呼,不符合你们团队标准的改动反正合并不进去。 他自己想验证一个功能怎么呈现给用户更好时,会一次做出五个版本,在大量用户中做 A/B 测试,按数据选一个上线。Boris 还设了每天自动运行的任务,持续尝试缩短 Claude Code 命令行工具的启动时间,测出来确实变快、又没有拖累其他指标的改动就合并。 Claude Code Review 本身在今年 3 月开放公开预览,10 月中旬正式发布,正式版是在内部这套系统的基础上重写的,外部用户用到的和 Anthropic 内部用的基本是同一套。预览时审一个 PR 大约 25 美元,正式版按审查深度分三档,每次 5 到 25 美元。 在命令行和桌面 App 里用的 /code-review 是快速版,因为边写边审的人不想等十几二十分钟;PR 提交后自动触发的托管审查才是深度版,想在本地跑深度版可以用 ultra review。审查默认先只看改动本身,需要时再去看仓库里的其他代码;目前只能访问单个仓库,跨仓库的权限还在和隐私团队商量。 工程师说,他们试过给审查智能体更多工具、更多上下文、让它实际运行代码,大多没有带来提升,反而增加了成本、时间和复杂度。至于用哪个模型、什么推理强度,Lunt 说每出一个新模型答案都会变,现在内部的经验是 Opus 5.5 中等强度用起来性价比最高,团队会持续评测、调好默认配置。 他把在 Claude Code 团队工作比作在海边堆沙堡,做好的辅助结构会被下一代模型的能力冲掉,所以他不意外代码审查在不久后变成一个完全解决了的问题。分享开头的现场投票里,77% 的听众说审查是整个开发流程里最痛苦的一环。
本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Claude Code、Anthropic、智能体、代码审查,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「宝玉」(@dotey),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 AI Will、Claude Code: GitHub Releases、Windsurf 等),属于近期高关注度行业信号。