SWE-CoWork:把编程智能体放进模拟组织里考核的 101 项任务基准
SWE-CoWork 是一个新的编程智能体基准,包含 101 项开发任务,覆盖 101 个真实仓库、11 种编程语言和 12 个应用领域。每项任务把智能体放进一个模拟的工程组织,面对 26 名职责不同、知识受限的虚拟同事,需要从简短的交接信息出发,恢复散落在同事和工单记录中的需求、处理矛盾信息,并用私有可执行测试来验收交付。对 11 个模型的评估显示,部分实现与完整交付之间存在巨大差距:排名前二的模型能通过约 63% 的 fail-to-pass(F2P)测试,但完整完成的任务不到 8%。提前给出完整需求能把 Seed Evolving 和 GPT-6 Astra 的 F2P 提高约 16 个百分点,但完整任务成功率不变。轨迹分析显示失败贯穿整个交付流程:Claude-Opus-5.5 平均能把 93% 的首次提问发给对应的负责同事,却只拿到 64% 的同事持有需求;被搁置的追问无人跟进,甚至有 31% 被标记为完成的需求最终没通过测试。这说明需求的全流程跟踪——澄清、实现、验证、交接——是自主软件工程可靠性的关键瓶颈。 与 SWE-bench 这类只考单仓库改码的基准不同,SWE-CoWork 考的是“数字员工”在组织协作场景下的完整交付能力,更贴近真实工作中的工程师角色。对做编程智能体和 Agent 工作流的开发者来说,它提供了一个可复现的诊断框架,能定位需求追踪、协作沟通和验证环节的具体失败模式。
当前结论
这个新基准不是让智能体改几个文件,而是扔进一个有 26 个虚拟同事的模拟公司里干完整活。最强的模型能通过 63% 的测试,但完整交付不到 8%,差距非常直观。做 Agent 工作流或编程助手的人可以拿它来诊断自己系统卡在哪一环。
证据链
10 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。