Arena.ai 提出 Interaction-as-a-Judge 评估范式并开源两个数据集
LMArena 团队把计算机使用智能体变成了评审员,直接上手玩应用来打分,比传统静态评估更贴近真实用户偏好。做智能体评测或 RL 研究的人可以直接用他们开源的两个轨迹数据集复现或改进这套流程。
LMArena 团队把计算机使用智能体变成了评审员,直接上手玩应用来打分,比传统静态评估更贴近真实用户偏好。做智能体评测或 RL 研究的人可以直接用他们开源的两个轨迹数据集复现或改进这套流程。
Arena.ai 让 computer-use 智能体真的去玩应用再打分,比传统静态评测更贴近用户感受,还开源了两个轨迹数据集。做 agent 评测或代码生成研究的人可以看看这套思路。
连常批评 OpenAI 的博主都服了:GPT 操作 Safari 像真人,任务独立完成几乎零失误,可以看看实测细节。
OpenAI 放了个 GPT-6 Astra 的实际案例:Proaction 拿它做车队管理智能体,computer-use 跑得更短更快。做 Agent 的可以看看这个演示视频。