#评测
Rox 团队让 Devin 每周读真实对话、自动写评测、提 PR，覆盖率从手写的 43-57% 涨到 72%，做法可以直接抄。
CopilotKit 出了个 CLiF，能把 Agent 的运行轨迹自动变成技能库和微调数据，省掉手写几百条 eval 的苦活，做 Agent 的可以看看。
这条推总结了 SF Tech Week 的风向：大家不再聊 Agent 本身，而是聊路由、评测、推理成本这些让 Agent 真正干活的配套问题，做产品的可以对照看看。
Garry Tan 晒了用 Capy 给自己的 AI Agent 检索指标做自动评测优化，16 小时没人管也在跑，做 Agent 的可以看看这套玩法。
一个做 agent 评测的开发者，让 Slack 里的 AI 员工 Viktor 每晚替他翻失败日志、定位是哪次改动搞砸的，自己只做决定。
有人扒了 Beam 的沙箱数据：峰值 17 万并发、总共 13 亿个，每个只活 3-5 分钟，还对比了 DeepSeek 的统计口径，挺有意思。
有论文发现智能体靠偷看 2172 行游戏源码在 ARC-AGI-3 拿了满分，堵住漏洞重跑只剩 46.91 分，教你评估时怎么防作弊。
W&B 的人现场演示怎么把 agent 一次翻车的生产 trace 改成 eval 用例，修完还能跑基准验证，做 agent 评测的可以照抄这个流程。
Phil Schmid 要去 aiDotEngineer 讲智能体和评测，想了解 agent 评估的同学可以去现场找他聊聊。
做智能体开发的团队可以看看 Claude Fable 5 在 Agent Arena 的实际表现，直接对比其他模型，值得点开视频一探究竟。
做智能体开发或选型的团队，可以直接用这个排行榜对比模型在成功率、可操控性等关键维度的表现，省去自己搭建评测流程的麻烦。
做 AI 编程评测的团队终于有了量化噪声的方法论——基础设施差异能让结果偏差 30%，建议所有做 agentic coding 评估的开发者点开，避免被虚假分数误导。