LangChain 发布 Agent Evals 实践指南：从 trace 到 benchmark 的完整评估流程

LangChain 团队的 Divya Sambasivan 以 Q&A 形式回答 Agent Evals 常见问题，给出可落地流程：从真实 trace 起步，建 10–20 条小数据集跑基线，失败案例回流迭代。评估器优先级为代码 > LLM 裁判 > 人工，LLM 裁判建议用二元判定和窄问题替代 1–10 打分。成本方面，小模型做 pass/fail 裁判总成本 $0.34，比 Claude Sonnet 4.6 的 $28.17 低约 1/83。文中还介绍了开源评估 harness Harbor（Terminal-Bench 底层引擎），并区分了 Eval 与 Benchmark：后者用容器化环境检查终态而非比对文本。