CMU 的 Wayne Chi 详解 Interaction-as-a-Judge：用游戏和 App 交互评测计算机操作智能体
Chatbot Arena 团队的人讲了个新评测思路：让智能体去玩游戏、用 App，把操作轨迹交给 LLM judge 打分，评测数据直接来自 Code Arena 和 Agent Arena 的真实用户记录。做 agent 评测或 reward model 的开发者可以看看这个演讲。
Arena 的研究实习生、Carnegie Mellon University 博士候选人 Wayne Chi 介绍了 Interaction-as-a-Judge 方法：让计算机操作智能体（computer-use agent）去玩游戏和使用应用，把交互过程作为评测信号。核心机制是智能体在真实应用中导航，产生完整的 interaction traces，再由 LLM judge 或训练好的 reward model 对这些轨迹打分，替代传统静态基准。
该方法分两条评测线：一是偏好评测，直接利用 Code Arena 中真实用户发起的对战数据做比较；二是正确性评测，从 Agent Arena 中用户的真实抱怨文本里挖掘需求，检查智能体行为是否达标。这种从真实使用记录提取评测信号的方式，比人工构造测试用例更能反映实际体验。
对做智能体评测和 RL reward 建模的开发者来说，这提供了一条从产品真实交互数据中自动构建评测和奖励信号的路。完整演讲视频已在 YouTube 直播中放出。
Arena research intern and PhD candidate at Carnegie Mellon University, Wayne Chi, explains Interaction-as-a-Judge: letting computer-use agents play games and use apps to better improve evaluation and downstream generation. A computer-use agent navigates an application, producing interaction traces for evaluation by an LLM judge or a trained reward model. The talk covers preference evaluation using real Code Arena battles and correctness evaluation using requirements mined from real user complaints in Agent Arena. Watch the full talk: youtube.com/live/lu--lrbzn…📊 4 ⚡
本条情报归属 AITOP「论文」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Computer-Use Agent、LLM Judge、Reward Model、Arena，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「lmarena.ai」（@lmarena_ai），经 AITOP 多维评分管线结构化提炼。
