Arena.ai 提出 Interaction-as-a-Judge 评估范式并开源两个数据集
https://t.co/ZLQc41bItB
LMArena 团队把计算机使用智能体变成了评审员，直接上手玩应用来打分，比传统静态评估更贴近真实用户偏好。做智能体评测或 RL 研究的人可以直接用他们开源的两个轨迹数据集复现或改进这套流程。
Arena.ai 团队研究了 Interaction-as-a-Judge 这一评估范式：让计算机使用（computer-use）智能体直接与游戏和应用交互，以改进评估质量。该范式在三个方向带来提升——与用户偏好的对齐、模型检测游戏中错误的能力、下游生成质量。
研究还观察到两个扩展趋势：推理时扩展（inference-time scaling）有效；仅靠交互的强化学习（interaction-only RL）同样有效。判断质量随计算机使用模型的能力提升而提升，模型和配套方法越好，评判越准。
团队同时开源了 ArenaWebdevPreferences 和 ArenaWebdevCorrectness 两个智能体轨迹数据集，供后续研究使用。这项工作的背景是智能体在复现游戏和应用上的能力持续增强，直接交互能力是关键原因之一。
https://t.co/ZLQc41bItB
x.com/arena/status/2… Arena.ai @arena Agents are demonstrating increasingly strong capabilities in recreating games and applications. One likely reason is their growing ability to directly interact with these applications. We studied Interaction-as-a-Judge, a growing evaluation paradigm where computer-use agents directly interact with games and applications to improve evaluation. Interaction-as-a-Judge improves: - alignment with user preferences. - a model’s ability to detect errors in games. - downstream generation. We see improvements in inference-time scaling and the ability for interaction-only reinforcement learning. It also scales with computer-use capabilities; the better the computer-use model and method, the better the judgments. We’re also open-sourcing two agent trace datasets, ArenaWebdevPreferences and ArenaWebdevCorrectness, to help support future research. Dive into the thread to learn more. 🔗 View Quoted Tweet
本条情报归属 AITOP「论文」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Arena.ai、computer-use、评估、智能体，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「lmarena.ai」（@lmarena_ai），经 AITOP 多维评分管线结构化提炼。
