dsbench

general · 首次出现 2026-07-31 · 最近出现 2026-10-11 · 累计提及 7

综述

DSBench 是一个用于评测 AI 智能体在数据科学及真实任务场景中综合能力的基准测试,近年来逐渐成为衡量大模型 Agent 实战水平的参考之一。与 Terminal Bench 等偏重终端操作的基准不同,DSBench 更关注模型在数据分析、建模、报表生成等贴近实际工作的任务中的表现,因此在 Agent 能力讨论中常被一并提及。

DSBench 所处的 Agent 评测生态

近期 Agent 基准测试的热度明显上升,模型厂商也开始把这类榜单成绩作为版本迭代的重要展示窗口。2025 年 7 月底,DeepSeek 发布 V4-Flash 正式版 API 并开启公测,官方测评显示其 Agent 能力大幅提升,其中 Terminal Bench 2.1 得分达到 82.7,且整体 Agent 基准成绩超过了更大的 V4-Pro 预览版。这说明小尺寸模型在经过针对性优化后,也能在以 DSBench 为代表的实战型评测中与大模型一较高下。

  • V4-Flash 正式版 API 公测,Agent 基准超 V4-Pro 预览版:介绍正式版公测及基准成绩反超的情况。
  • DeepSeek-V4-Flash-0731 发布,Agent 能力超越 V4-Pro-Preview:梳理了该版本在多项 Agent 基准上的表现。
  • DeepSeek发布V4-Pro-0813,代码智能体Harness开启公测:DeepSeek 随后在 8 月发布 V4-Pro-0813,并公测代码智能体 Harness,进一步补齐工程化能力。
  • Sakana AI 递归自我改进研究:Sakana AI 发布关于递归自我改进的新论文,从方法论层面探索智能体能力提升路径。
  • 当前焦点与观察点

    目前围绕 DSBench 及同类基准的讨论主要集中在三点:一是基准成绩与真实生产环境表现之间的差距,榜单高分是否能等价于可靠的 Agent 产品力仍有争议;二是模型尺寸与能力的关系正在被改写,V4-Flash 以更小的体积在 Agent 任务上反超 V4-Pro 预览版,引发了对“性价比路线”的关注;三是评测工具链本身也在演化,如代码智能体 Harness 的开放,让评测环境更接近真实开发流程。

    对关注 DSBench 的开发者而言,值得持续观察的是各厂商是否会公开更细粒度的分项成绩,以及学界是否能建立跨基准的统一评价标准,以减少“刷榜”带来的信息噪音。

    相关报道

    5 条在档