AITOPAI热报

PaperBench

general · 首次出现 2026-05-22 · 最近出现 2026-09-03 · 累计提及 8

综述

PaperBench是OpenAI开发的一个基准测试，专门用于评估AI模型复制前沿研究论文的能力。这一测试已成为衡量AI系统学术理解与实现能力的重要指标。近期数据显示，Qwen模型在PaperBench上取得了93分的优异成绩，超过了OSWorld基准的86分。

PaperBench 近期进展

  • Repo-To-Skill研究提出将GitHub仓库提炼为AI技能的方法，这与PaperBench评估AI理解与实现研究论文的能力有相似之处，两者都关注AI对专业知识的掌握程度。Repo-To-Skill：将GitHub仓库提炼为AI技能
  • 阿里开源的Qwen3.8-2.4B-A95B模型在PaperBench基准测试中取得了93分的高分，显示了其在理解与实现前沿研究方面的强大能力。阿里开源Qwen3.8-2.4T-A95B：2.4T MoE、激活95B、原生256K上下文
  • OpenRouter发布的数据显示，当前最先进的AI模型在PaperBench上的表现参差不齐，分数从60到93不等，反映了不同模型在理解复杂研究论文方面的能力差异。Qwen智能体基准成绩：PaperBench达93，OSWorld达86

    • 当前焦点与观察点

    PaperBench的出现标志着AI评估体系的重要进步，从传统的通用能力测试转向更专业的学术理解能力评估。随着AI模型规模的不断扩大，PaperBench等专业化基准测试将成为衡量模型真实进步的关键指标。值得注意的是，PaperBench分数的提升并不意味着AI已经完全掌握了科研能力，而是表明它们在特定任务上的表现有所改善。未来，这类基准测试可能会进一步细分化，针对不同学科领域开发专门的评估方法。

    相关报道

    4 条在档