WorkBuddy-Bench

general · 首次出现 2026-10-15 · 最近出现 2026-10-19 · 累计提及 6

综述

WorkBuddy-Bench 是一个面向办公与日常工作场景的智能体评测基准,用于衡量大模型智能体在处理邮件、日程、文档、跨系统协作等真实工作流任务时的表现,目前社区公开资料仍较少,多作为智能体 harness 研究中的参考测试集被提及。

WorkBuddy-Bench 近期进展

近期智能体评测讨论的焦点,集中在 Google Research 开源的 Harness² 框架上——这是一个递归式智能体 harness 优化框架,允许智能体在冻结底层模型的前提下,于测试时自行改写和改进自身的外部运行框架,以应对开放世界中没有标准答案的未见任务。相关讨论见 Google 开源 Harness2:测试时递归改写智能体 harness 的框架。

Harness² 针对的两个核心难题是:测试时任务缺乏 ground truth、以及环境持续变化导致一次性训练的 harness 难以泛化。这类工作与 WorkBuddy-Bench 所代表的工作流评测方向直接相关,因为智能体在真实办公任务中的表现,很大程度上取决于 harness 层而非模型本身,可参考 Google Research 发布 Harness²:让智能体在冻结模型外自行改进运行框架。

在社区传播层面,多位 AI 研究者推荐了这项工作。DAIR.AI 称其为必读论文,强调理解与构建自定义 harness 的重要性;elvis(omarsar0)也将其列为智能体自我改进方向的推荐阅读,见 Recommended, must-read paper 与 DAIR.AI 的讨论。

当前焦点与观察点

  • 评测重心从模型转向 harness:WorkBuddy-Bench 这类贴近真实工作流的基准,其价值在于揭示智能体框架设计对最终表现的贡献,而 Harness² 的出现进一步印证了这一趋势。
  • 开放任务评估方法:当任务没有唯一正确答案时,如何定义评分标准、避免自我评估偏差,是此类基准和框架共同面临的争议点。
  • 公开信息有限:目前关于 WorkBuddy-Bench 本身的任务构成、规模和评分细节披露不多,建议在引用其结论前关注原始论文或官方仓库的后续更新,避免过度解读单点分数。
  • 相关报道

    5 条在档