xbench 是一个面向 AI Agent(智能体)的基准测试体系,由中国团队于 2025 年年中推出,主张用“真实价值对齐”(value alignment)而非静态题库来衡量大模型与 Agent 的实际能力。它最初包含 DeepSearch(信息检索)与 ScienceQA(科学问答)等追踪性测试,持续更新题目以避免过拟合,并引入“绩效-成本曲线”来刻画模型能力随价格下降的扩展趋势,逐渐成为业内评估 Agent 水平时常被引用的第三方基准之一。
xbench 视角下的 Agent 近期进展
当前焦点与观察点
现阶段围绕 xbench 的讨论主要集中在三点。其一是评测的有效性:动态更新题目虽能降低“刷榜”风险,但也带来了可复现性与结果可比性的争议。其二是能力外推:xbench 提出的绩效-成本曲线暗示模型能力上限仍在随投入增长,这一判断被多方引用来预测 Agent 商业化的时间点。其三是覆盖面:如 MemScope、KnowGPO 等工作所展示的记忆、多步规划与强化学习能力,尚未被现有基准完整衡量。
对普通读者而言,观察 xbench 的意义在于它提供了一个相对中立的参照系:当各家厂商宣传 Agent 产品能力时,可以借助这类第三方基准交叉验证,同时关注其成本侧数据,而不仅仅是分数排名。