#trace-based evaluation

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「trace-based evaluation」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月11日
arXiv 论文对比三种智能体评估框架:trace 评估 F1 达 0.90

做智能体评估的同学该看看这篇。它用同一批 trace 实测了三种评估框架:trace-based F1 到 0.90,纯文本方案误报多 5 倍,还有 24 个功能测试和安全红队零重叠的新失败。结论很实在:功能评估用 trace,安全验证用红队,两条腿走路。

arXiv cs.AI@Howard Zhang 等 6 人原文