主要来源Thomas Wolf
查看原文事件专题 ·多源确认
28849 次测试比较 9 款 coding-agent harness:同模型成绩差异巨大
Joël Niklaus 发布 Harness Leaderboard,共运行 28849 次测试、花费 4746 美元推理成本。测试在 Terminal-Bench 2.1 和 DeepSWE 上对比 9 款 harness,模型固定为 GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Flint,每任务跑 3 次。平均三款模型,mini-swe-agent 以 51.4% 解题率居首,Pi 以 49.4% 达每任务 0.29 美元,比 mini-swe-agent 便宜约 45%。@opencode 每解一题花费 3.35 美元,是 Pi 的 11.7 倍。最佳 harness 依模型而异:GLM-5.3-Flash 配 mini-swe-agent,DeepSeek-V4.1-Flash 配 Hermes Agent,Flint 配 Kimi Code。
当前结论
有人烧了近 5 千美元推理费,测了 9 款 coding-agent harness 谁更强。结果很反直觉:最贵的不一定最好,Pi 每题只要 0.29 美元。选 harness 前先看这张榜单。
6 个信源52° AI 热度最后更新 2026/11/7 00:28:13
证据链
6 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。