技巧多源确认

Vercel:你的下一批用户是 agent,evals 是面向它们做产品的方式

精选理由

Rauch 在 Vercel 博客里讲他们怎么做 agent evals:看 agent 怎么用你的产品、上线前测改动、新模型发布时做对比。做 API 或开发者产品的人值得照着搭一套自己的评估流程。

Guillermo Rauch 提出,传统的用户调研、用户旅程图正被新的开发范式取代:产品的主要使用者从人类变成了 agent,开发者要为它们做产品和优化体验。Vercel 发布的 agent evals 方法包含三个核心动作:观察 agent 如何实际调用你的产品、在上线前测试改动带来的影响、在新模型发布时对比不同模型的表现。

正文

这种做法的机制是把 evals 变成软件工程循环的一部分,替代人工访谈得到的设计灵感——agent 调用接口的行为是可测量、可回归测试的,改动是否破坏了 agent 的使用流程可以通过评估集验证。Vercel 在博客中给出了具体的 evals 实践细节。

对开发者而言,这一转变意味着接口稳定性、文档质量和错误信息的设计目标都要面向机器用户重新校准;产品方需要像维护 CI 一样维护 evals 基线,以适配持续更新的各家模型。

原文 · Guillermo Rauch

The old way: users are human, you run user interviews, get inspired, mock up user journeys. The new way: users are agents, you run evals, evals inform the software engineering loop. Good read on how we do evals at Vercel. Vercel @vercel Your next users are agents. Evals are how you build for them. ▪︎ See how agents use your product ▪︎ Test changes before you ship ▪︎ Compare models as they launch vercel.com/blog/agent-eva… 🔗 View Quoted Tweet📊 33 ⚡

产业坐标与信源核验

本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Vercel、agent、evals、MCP/工具,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Guillermo Rauch」(@rauchg),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 3 家独立信源对该事件进行交叉印证与跟进报道(含 Vercel AI、Lenny Rachitsky 等),属于近期高关注度行业信号。