Evals

product · 首次出现 2026-05-22 · 最近出现 2026-11-19 · 累计提及 293

综述

Evals(评估体系)是用于系统化测量 AI 模型与智能体在特定任务上表现的一套测试、基准和流程,如今已从学术基准演变为工程实践和安全治理的核心环节。无论是企业决定换用哪个模型、开发者训练专属系统,还是前沿实验室评估模型风险,都离不开 Evals 的支撑,它正成为 AI 工程化落地的关键基础设施。

Evals 的近期进展

  • METR 发布报告:评估 AI 是否正在加速 AI 研发:评估机构 METR 持续研究 AI 对 AI 研发本身的加速效应,这是衡量前沿模型能力边界的重要参考,也直接影响安全承诺的兑现。
  • METR 评审 Anthropic 2026 年 8 月风险报告中的自动化研发风险章节:第三方评估开始介入实验室风险报告的审查,涵盖自动化研发与对齐风险章节,标志着 Evals 正从内部测试走向外部监督。相关对齐风险评估同期发布。
  • 论文提出模拟控制评估 SCE:用模型模拟环境预测安全指标:学术界探索用模型模拟环境来预测安全指标,为难以真实测试的智能体场景提供新的评估方法。
  • Hamel Husain 与 Shreya Shankar 新书《Evals for AI Engineers》11月12日发布:面向工程师的系统性 Evals 教材即将出版,反映这一领域的方法论正在快速体系化。
  • 当前焦点与观察点

    工程实践层面,Evals 正成为企业决策的核心依据。OpenRouter 对谈 Mercor:用 evals 决定换模型还是自训显示,团队以评估结果而非直觉来决定模型选型策略。Legora CTO Jacob Lauritzen 谈为律师构建 AI 的实践细节也印证了垂直行业产品依赖领域化评估来保证输出质量。与此同时,构建自己的评估与运行环境:为什么企业应该掌握自己的智能栈的观点获得关注——掌握自有评估能力被视为避免被单一供应商锁定的关键。

    安全治理层面,评估的独立性与深度在提升。METR 与 Redwood Research 员工进驻 OpenAI 评估内部智能体监控表明第三方机构正直接参与实验室内部系统的评估。此外,吴恩达将在纽约办 AI Dev 大会,预计 2000 名工程师参加,工程社区对包括评估在内的 AI 开发方法论兴趣持续升温。

    值得观察的争议点在于:公开基准容易被"刷分"而失去区分度,而企业自建评估又缺乏统一标准;第三方评估如何在访问深度与独立性之间取得平衡,也仍是前沿安全治理中悬而未决的问题。

    相关报道

    10 条在档