JetBrains 研究称编码智能体基准应贴近真实用户任务流
JetBrains 研究员看了 4,782 个真实会话，发现 SWE-Bench Pro 这种基准和实际用法差太远，还做了个新基准 SWE-TaskFlow，做评测的应该看看。
#SWE-Bench Pro
共 10 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「SWE-Bench Pro」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月12日
8月7日
8月6日
论文12:23
Argus：面向长时程推理的通用智能体运行时Argus 这个智能体运行时，SWE-Bench Pro 拿到 78%，比 Direct Copilot 高 19 个点，还会自我进化省 token，挺新鲜。
7月31日
7月9日
OpenAI 用模型驱动代理和人工评审审计 SWE-Bench Pro
OpenAI 公布了一种审计 SWE-Bench Pro 的新方法，结合模型代理和五名资深工程师的独立评审，适合关注基准测试可靠性和自动审计的朋友。