技巧

Elvis Omarsar:智能体自动化没有 evals 就是空转代码

精选理由

这篇推文给正在做智能体自动化的开发者提了个醒:先搭 evals 再谈自动化。对比那些只堆工作流却没度量手段的方案,这个观点决定了项目能不能真的迭代变好。所有在组织里推智能体落地的人都该看看。

Elvis Omarsar 在 X 上发文指出,与多位开发者交流后发现,缺少 evals 的递归自我改进循环只是没有清晰价值的代码行数(LOC)。

正文

他强调无法有效度量就无法有效自动化,任何用于智能体自动化的产品都应将构建和度量 evals 作为一等公民能力,或至少易于支持。他认为这一点不限于软件工程和编码场景,而是适用于组织内所有职能部门。

原文 · elvis

I've been having several conversations with folks building in both spaces, and it's clear that without evals, that recursive self-improving loop is just more LOC without any clear value. You can't effectively automate what you cannot properly measure. Whatever product you use for agent automation should have a first-class way to measure and build evals explicitly, or support it easily. Pay close attention to this. And this isn't just about software engineering/coding; it's across all functions of the org.

产业坐标与信源核验

本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:evals、智能体、提示词工程,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「elvis」(@omarsar0),经 AITOP 多维评分管线结构化提炼。