论文精选

TokenWave AI 发布 SWE-CoWork:考 coding agent 能否像新员工一样在真实职场协作

精选理由

TokenWave AI 的 SWE-CoWork 把 agent 扔进模拟职场,82% 的需求要靠主动问虚拟同事才知道,101 个任务里最强模型也只完整做完不到 8 个。这和 SWE-Bench 那种给全量需求再测分数完全是两回事,做 agent 开发或选型的人都该看看失败都卡在哪一步。

TokenWave AI 推出 SWE-CoWork 基准,共含 101 个任务,模拟真实职场环境来评测 AI coding agent。测试发现,把完整需求说明提前给到 GPT-6 Astra,其通过检查数提升 16 个点,但它在 101 个任务里也只完整完成了 8 个。

正文

与 SWE-Bench 等直接给出完整书面任务的传统 benchmark 不同,SWE-CoWork 让 agent 处在一个模拟的工作场所中,其中 82% 的需求信息掌握在虚拟同事手里,agent 只有主动向正确的人提问才能弄清要做什么。基准还把每个失败的检查项追溯到一条具体需求,便于定位失败原因。

成绩上,表现最好的模型能通过约 63% 的单项检查,但 101 个任务里完整跑完的不足 8%。这说明当前 coding agent 在多轮沟通、澄清需求和端到端交付上的能力远弱于写代码本身,也解释了为什么这些基准开始像评估一名新入职员工的第一个星期。

原文 · rohanpaul_ai

Coding-agent benchmarks are starting to look like a new hire’s first week.

TokenWave AI has released SWE-CoWork, a new benchmark that tests whether AI coding agents can work like real team members.

Giving GPT-6 Astra the full spec up front lifted its passed checks by 16 points, yet it still fully finished only 8 of 101 tasks. SWE-CoWork puts coding agents in a simulated workplace modeled on real-world workflows, then links each failed check to a specific requirement.

Most coding benchmarks hand an AI agent a complete written task, but SWE-CoWork puts it in a simulated workplace where 82% of the requirements sit with teammates, so the agent only learns what to build by asking the right person. The best models pass about 63% of the individual checks yet fully finish fewer than 8% of 101 tasks.

产业坐标与信源核验

本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:SWE-CoWork、GPT-6、coding agent、benchmark评测,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「rohanpaul_ai」(@rohanpaul_ai),经 AITOP 多维评分管线结构化提炼。

TokenWave AI 发布 SWE-CoWork:考 coding agent 能否像新员工一样在真实职场协作|AI热报