Evals(评估体系)是用于系统化测量 AI 模型与智能体在特定任务上表现的一套测试、基准和流程,如今已从学术基准演变为工程实践和安全治理的核心环节。无论是企业决定换用哪个模型、开发者训练专属系统,还是前沿实验室评估模型风险,都离不开 Evals 的支撑,它正成为 AI 工程化落地的关键基础设施。
Evals 的近期进展
当前焦点与观察点
工程实践层面,Evals 正成为企业决策的核心依据。OpenRouter 对谈 Mercor:用 evals 决定换模型还是自训显示,团队以评估结果而非直觉来决定模型选型策略。Legora CTO Jacob Lauritzen 谈为律师构建 AI 的实践细节也印证了垂直行业产品依赖领域化评估来保证输出质量。与此同时,构建自己的评估与运行环境:为什么企业应该掌握自己的智能栈的观点获得关注——掌握自有评估能力被视为避免被单一供应商锁定的关键。
安全治理层面,评估的独立性与深度在提升。METR 与 Redwood Research 员工进驻 OpenAI 评估内部智能体监控表明第三方机构正直接参与实验室内部系统的评估。此外,吴恩达将在纽约办 AI Dev 大会,预计 2000 名工程师参加,工程社区对包括评估在内的 AI 开发方法论兴趣持续升温。
值得观察的争议点在于:公开基准容易被"刷分"而失去区分度,而企业自建评估又缺乏统一标准;第三方评估如何在访问深度与独立性之间取得平衡,也仍是前沿安全治理中悬而未决的问题。