主要来源elvis
查看原文事件专题 ·多源确认
TokenWave.AI 发布 SWE-CoWork:测试智能体协作交接能力的新基准
TokenWave.AI 发布 SWE-CoWork 基准,专门评估编码智能体在模拟团队环境中的工作交接能力。基准包含 101 个真实开源仓库的 101 项任务,覆盖 11 种编程语言、12 个应用领域和 17 种职场工具。 每项任务从一个简短的交接开始,智能体需要在模拟职场中搜索任务板和版本化文档,向 26 个模拟同事询问缺失细节,并在回复改变需求时修改代码,最终提交通过隐藏测试的补丁。测试结果很严峻:表现最好的模型只完整完成 101 项任务中的 8 项,Claude Opus 5.5 有超过一半的失败检查发生在已获得需求之后,说明开放性问题和已确认需求在交接过程中都会丢失。 这个基准直指当前智能体开发中被忽视的环节:让智能体像数字员工一样接手同事未完成的工作。论文、代码和评测框架已在 arXiv(2611.20218)、GitHub 和 Hugging Face 上公开,开发者可以直接复现或扩展这套评测。
当前结论
做智能体开发的朋友可以看看这个新基准。SWE-CoWork 模拟了一个有任务板、文档和 26 个虚拟同事的工作场景,让智能体接手别人干到一半的活。结果挺扎眼:101 个任务最好的模型只完成 8 个,连 Claude Opus 5.5 都在拿到需求后丢要求。想找评测协作型智能体的方法,这套框架是现成的。
3 个信源38° AI 热度最后更新 2026/11/17 16:02:09
证据链
3 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。