技巧精选

Warp 工程师分享自改进 Agent 工作流:从隐藏的试错中优化系统

精选理由

Warp 的 Ben Holmes 教你用评分 Agent 复盘任务记录,把反复踩坑的原因修进 Skills 配置里,很实用。

Warp 的 Ben Holmes 在 AI Engineer 大会上演讲,主题是 Agent 即使报告任务完成,过程也可能绕过错误指令。他举的案例中,Skills 里的端口指令过时导致 Agent 反复试错,团队只看到任务变慢。他建议先定义评分标准(重复测试、工具调用效率、表达冗长度),由评审 Agent 检查任务记录,再用另一个 Agent 汇总共性问题并生成修改 PR。实践工具包括用于检查本地历史的 Skill Doctor 和持续评分的 Warp Factories。

原文 · shao__meng

Agent 说“完成了”,不代表过程没问题:从隐藏的弯路中改进工作流 来自 @BHolmesDev (Warp) 在 AI Engineer 的演讲,Ben 的核心提醒:Agent 可能在绕过错误指令、反复尝试之后完成任务,却只向你汇报最终结果。真正值得改进的问题,往往藏在这些没有被汇报的过程里。 youtu.be/pz74r-4dGfQ?is… # 成功完成,也可能暴露系统问题 Ben 举了一个案例:测试 Skills 中的端口指令已经过时,Agent 不断试错,最后仍然完成了任务。团队看到的只是“慢了一点”,没有发现应该修正的是 Skills 说明。 因此,复盘不能只看最终答案或代码,还要结合对话、工具调用和代码改动。否则,每次任务看似成功,下一次却仍要重新摸索同一个问题。 # 让评审找问题,再从多次失败中找共因 更合理的流程是:先由团队定义明确的评分标准,例如是否重复测试、工具调用是否高效、表达是否冗长,再让评审 Agent 检查任务记录,并解释扣分原因。 随后,另一个 Agent 汇总这些记录,寻找反复出现的问题,把修复建议变成技能或配置的修改 PR,交给团队审查。 重点不是让每个 Agent 临时变聪明,而是修掉让所有 Agent 反复踩坑的共同原因。 # 反思要变成可审查的修改 Ben 介绍了两种实践:Skill Doctor 用于一次性检查本地历史;Warp Factories 则展示持续评分、定期提出修复建议的工作流。 Ben Holmes @BHolmesDev My talk on self-improving agents is live on @aiDotEngineer ! I show how you can build a skill + a self improvement loop to have agents review their own work and improve their setup overtime. Very relevant in a software factory context too youtu.be/pz74r-4dGfQ?is… 🔗 View Quoted Tweet 💬 6 🔄 0 ❤️ 3 👀 268 📊 5 ⚡