Arena.ai 提出 Interaction-as-a-Judge：让计算机操作智能体上手应用来改进评估
Arena.ai 让 computer-use 智能体真的去玩应用再打分，比传统静态评测更贴近用户感受，还开源了两个轨迹数据集。做 agent 评测或代码生成研究的人可以看看这套思路。
#LLM judge
共 4 条 · 7 天 2 条 · 30 天 3 条
信息流里打上「LLM judge」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月13日
11月10日
UCLA 与 Northeastern 论文：AI 智能体约 18% 输出 token 属于可删废料
跑过 agent 的都知道账单有多吓人。这篇论文用 LLM judge 找出哪些 token 是纯浪费，Kimi-K3 在 SWE-bench Verified 上删掉 41% 输出成功率还微升。做 agent 成本优化的开发者可以照这个思路搭个代理层试试。
10月27日
Hamel Husain 回应质疑：为什么要公开批评 AI 基准测试的缺陷
做模型选型的朋友看看这篇，Hamel 教你怎么用半小时翻 trace 就能发现基准测试里的坑，别只看跑分。
9月28日
Hamel Husain 谈 LLM 评测：LLM judge 本质是需要校验的分类器
Hamel Husain 回答了一个实用问题：用 LLM 当评审做评测时，得先拿人工标注数据验证它靠不靠谱，别直接信。