LiveCodeBench

general · 首次出现 2026-05-22 · 最近出现 2026-11-11 · 累计提及 79

综述

LiveCodeBench 是一个面向大语言模型编程能力的动态基准测试,其核心特点是持续收录竞赛编程新题,避免训练数据污染导致的分数虚高,目前已成为衡量模型真实代码生成与推理水平的主要参考之一。与静态榜单不同,LiveCodeBench 通过按时间窗口划分题目,可以区分模型是“背过题”还是真正具备解题能力,这也使其结果在业内被认为更能反映模型泛化能力。

LiveCodeBench 相关近期进展

围绕代码生成与推理评测,近期多项研究间接与 LiveCodeBench 的评测生态相关:

  • 图基自适应搜索方法 GraphAHA 改进代码生成效果:该工作提出基于图的自适应搜索策略,用于提升代码生成质量,这类方法通常会在 LiveCodeBench 等基准上验证有效性。
  • FLEET:用记忆机制替代重复采样,提速3倍:通过记忆机制减少重复采样,在保持推理质量的同时将速度提升 3 倍,对代码推理类评测的部署成本有直接影响。
  • PLVR:可验证奖励的程序学习:以可验证奖励训练程序生成能力,属于当前以 LiveCodeBench 类基准衡量成效的强化学习路线。
  • 多智能体系统代码审查研究论文:将评测从“能否写出代码”扩展到“能否审查代码”,提示代码能力评测维度的多元化。
  • 当前焦点与观察点

    LiveCodeBench 面临的主要争议在于:随着模型迭代加快,新题的“保鲜期”越来越短,污染防控与题目供给的压力同步上升。同时,行业对代码评测的需求正从竞赛题向真实工程任务延伸,多智能体代码审查、后训练数据工程(如 LLM后训练作为棕地维护 所述)等方向都在推动评测标准演进。观察点包括:各大前沿模型在最新时间窗口题目上的成绩变化,以及 LiveCodeBench 是否会与真实软件工程基准形成互补或竞争格局。

    相关报道

    10 条在档