arXiv 论文对比三种智能体评估框架:trace 评估 F1 达 0.90
做智能体评估的同学该看看这篇。它用同一批 trace 实测了三种评估框架:trace-based F1 到 0.90,纯文本方案误报多 5 倍,还有 24 个功能测试和安全红队零重叠的新失败。结论很实在:功能评估用 trace,安全验证用红队,两条腿走路。
做智能体评估的同学该看看这篇。它用同一批 trace 实测了三种评估框架:trace-based F1 到 0.90,纯文本方案误报多 5 倍,还有 24 个功能测试和安全红队零重叠的新失败。结论很实在:功能评估用 trace,安全验证用红队,两条腿走路。