主要来源arXiv: Anthropic
查看原文事件专题 ·官方一手
SkillBuffBench:用统一基准衡量 Agent Skills 在不同框架与模型下的真实增益
SkillBuffBench 是一个新基准与配套评估协议,专门衡量 Agent Skills(可按需加载的过程性知识文件包)对编程智能体的实际贡献。它把 Skill 访问设为三级因子(无 Skill、精选 Skill、从已安装库自动调用),再与记忆开关、4 个 agent harness、多个模型交叉组合,覆盖 Anthropic、Google、OpenAI 的旗舰闭源模型和中文厂商的开源权重模型,每个模型在每款 harness 下都运行一遍。 评测任务由材料科学与生物学领域的专家贡献,连同他们实际使用的 Skills 一起纳入,任务套件会滚动扩充。每次运行由确定性验证器打分,不确定性用配对的任务级 bootstrap 报告,成本、agent 轮数和挂钟时间也单独列出而不折算进分数。 设计动机来自现实与既有评测的落差:过去证据几乎都来自“为任务手工挑选正确 Skill、智能体从零开始”的场景,而部署中智能体要从已安装库里自行选择,还常带着早期工作的记忆。本版本论文描述基准设计、评估协议与现有任务和 Skills,评估正在进行中,结果完成后将陆续补充。
当前结论
现在每个 agent harness 都在推 Skills,但增益数据大多来自“人工挑好 Skill”的理想场景。这个基准把 Skill 访问、记忆、harness、模型四个变量拆开交叉测,还把成本和时间单独报出来。做 agent 开发、想判断要不要给自家工作流上 Skills 的人值得跑一遍看看协议设计。
11 个信源47° AI 热度最后更新 2026/11/17 00:12:40
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。