事件专题 ·多源确认

28849 次测试比较 9 款 coding-agent harness:同模型成绩差异巨大

Joël Niklaus 发布 Harness Leaderboard,共运行 28849 次测试、花费 4746 美元推理成本。测试在 Terminal-Bench 2.1 和 DeepSWE 上对比 9 款 harness,模型固定为 GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Flint,每任务跑 3 次。平均三款模型,mini-swe-agent 以 51.4% 解题率居首,Pi 以 49.4% 达每任务 0.29 美元,比 mini-swe-agent 便宜约 45%。@opencode 每解一题花费 3.35 美元,是 Pi 的 11.7 倍。最佳 harness 依模型而异:GLM-5.3-Flash 配 mini-swe-agent,DeepSeek-V4.1-Flash 配 Hermes Agent,Flint 配 Kimi Code。

当前结论

有人烧了近 5 千美元推理费,测了 9 款 coding-agent harness 谁更强。结果很反直觉:最贵的不一定最好,Pi 每题只要 0.29 美元。选 harness 前先看这张榜单。

6 个信源52° AI 热度最后更新 2026/11/7 00:28:13

证据链

6 个信源
相关来源 5Artificial Analysis
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。