事件专题 ·多源确认

TokenWave AI 发布 SWE-CoWork:考 coding agent 能否像新员工一样在真实职场协作

TokenWave AI 推出 SWE-CoWork 基准,共含 101 个任务,模拟真实职场环境来评测 AI coding agent。测试发现,把完整需求说明提前给到 GPT-6 Astra,其通过检查数提升 16 个点,但它在 101 个任务里也只完整完成了 8 个。 与 SWE-Bench 等直接给出完整书面任务的传统 benchmark 不同,SWE-CoWork 让 agent 处在一个模拟的工作场所中,其中 82% 的需求信息掌握在虚拟同事手里,agent 只有主动向正确的人提问才能弄清要做什么。基准还把每个失败的检查项追溯到一条具体需求,便于定位失败原因。 成绩上,表现最好的模型能通过约 63% 的单项检查,但 101 个任务里完整跑完的不足 8%。这说明当前 coding agent 在多轮沟通、澄清需求和端到端交付上的能力远弱于写代码本身,也解释了为什么这些基准开始像评估一名新入职员工的第一个星期。

当前结论

TokenWave AI 的 SWE-CoWork 把 agent 扔进模拟职场,82% 的需求要靠主动问虚拟同事才知道,101 个任务里最强模型也只完整做完不到 8 个。这和 SWE-Bench 那种给全量需求再测分数完全是两回事,做 agent 开发或选型的人都该看看失败都卡在哪一步。

11 个信源44° AI 热度最后更新 2026/11/17 16:37:08

证据链

11 个信源
相关来源 3Artificial Analysis
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。