WorkBuddy-Bench 是一个面向办公与日常工作场景的智能体评测基准,用于衡量大模型智能体在处理邮件、日程、文档、跨系统协作等真实工作流任务时的表现,目前社区公开资料仍较少,多作为智能体 harness 研究中的参考测试集被提及。
WorkBuddy-Bench 近期进展
近期智能体评测讨论的焦点,集中在 Google Research 开源的 Harness² 框架上——这是一个递归式智能体 harness 优化框架,允许智能体在冻结底层模型的前提下,于测试时自行改写和改进自身的外部运行框架,以应对开放世界中没有标准答案的未见任务。相关讨论见 Google 开源 Harness2:测试时递归改写智能体 harness 的框架。
Harness² 针对的两个核心难题是:测试时任务缺乏 ground truth、以及环境持续变化导致一次性训练的 harness 难以泛化。这类工作与 WorkBuddy-Bench 所代表的工作流评测方向直接相关,因为智能体在真实办公任务中的表现,很大程度上取决于 harness 层而非模型本身,可参考 Google Research 发布 Harness²:让智能体在冻结模型外自行改进运行框架。
在社区传播层面,多位 AI 研究者推荐了这项工作。DAIR.AI 称其为必读论文,强调理解与构建自定义 harness 的重要性;elvis(omarsar0)也将其列为智能体自我改进方向的推荐阅读,见 Recommended, must-read paper 与 DAIR.AI 的讨论。