模型

DeepSeek 在 FrontierCode v1.1、SWE-Atlas-QnA-AA、TerminalBench 4.0 上排名不一致

精选理由

DeepSeek 编程成绩在不同基准上对不上,TerminalBench 上换 agent 框架得分差 14 分多,测模型前可以看看这篇的坑。

三条编程基准 FrontierCode v1.1、SWE-Atlas-QnA-AA 与 TerminalBench 4.0 给出的模型排名互不一致。DeepSeek 在 TerminalBench 4.0 上搭配 Claude Code 得分 42.3,搭配 Codex 时只有 28。即便如此,该帖仍认为 DeepSeek 是一个竞争力很强的编程智能体。

原文 · Teortaxes

FrontierCode v1.1, SWE-Atlas-QnA-AA and TerminalBench 4.0 seriously disagree on the ranking. Also I'm not sure why DeepSeek's TB 4.0 score is 42.3 with Claude Code but only 28 w/Codex. However, even like this it's a beastly model. A very competitive coding agent. https://t.co/iZCQobrnfe