CMU 的 Wayne Chi 详解 Interaction-as-a-Judge:用游戏和 App 交互评测计算机操作智能体
Chatbot Arena 团队的人讲了个新评测思路:让智能体去玩游戏、用 App,把操作轨迹交给 LLM judge 打分,评测数据直接来自 Code Arena 和 Agent Arena 的真实用户记录。做 agent 评测或 reward model 的开发者可以看看这个演讲。
Chatbot Arena 团队的人讲了个新评测思路:让智能体去玩游戏、用 App,把操作轨迹交给 LLM judge 打分,评测数据直接来自 Code Arena 和 Agent Arena 的真实用户记录。做 agent 评测或 reward model 的开发者可以看看这个演讲。