IFEval

general · 首次出现 2026-06-15 · 最近出现 2026-11-06 · 累计提及 30

综述

IFEval 是由 Google 研究团队提出的指令遵循能力评测基准,通过“可验证指令”(如指定字数、格式、必须包含的关键词等客观规则)来衡量大语言模型能否精确执行用户要求,已成为业界最常用的指令遵循评测之一,常与 MATH、GSM8K 等一起出现在模型发布报告和排行榜中。

IFEval 近期进展

近期 IFEval 的曝光主要集中在端侧小模型和自动数据工程两条线上。

  • 端侧小模型把 IFEval 当核心指标:淘宝 MNN 团队开源 0.3B 手机模型,宣称 iPhone 18 Pro 可离线跑出 350 token/s 的推理速度,模型卡中 IFEval 等可验证基准被用作小模型能力的主要证明。详见 淘宝 MNN 团队开源 0.3B 手机模型。
  • 自动化 SFT 流程以 IFEval 为验收标准:OpenBMB 发布的 AutoSFT 让多智能体自动完成 SFT 数据的研究全流程,指令遵循类基准(IFEval 是代表)通常作为数据质量与训练效果的评判依据,见 AutoSFT:多智能体自动完成 SFT 数据研究全流程。
  • 权重编辑与 LoRA 合并也借其衡量副作用:MIT CSAIL 用 Astra 编辑 Qwen3.5-0.8B 约 0.016% 的权重,使 MATH-500 从 7.9% 升至 48.1%(相关报道);另有研究显示 LoRA 合并按域选秩最多可提升 1.8 个百分点(论文)。这类改造通用能力的 work 常需要用 IFEval 确认指令遵循未被破坏。
  • 当前焦点与观察点

    围绕 IFEval 的讨论主要有三点。其一是局限性的反思:它只覆盖“可机器验证”的指令类型,无法衡量开放式的指令理解,且训练数据可能已对该基准过拟合,分数虚高问题在社区中被反复提及。其二是小模型时代的参考价值:0.3B—1B 级端侧模型密集发布,IFEval 因计算成本低、结论客观,成为厂商对比小模型时最稳妥的指标之一。其三是评测组合化趋势:越来越多的自动数据与训练流程(如 AutoSFT)不再依赖单一基准,而是把 IFEval 与数学、代码类基准捆绑验收。对研究者和选型者来说,把它当作“格式执行力”的下限指标,而非整体能力的评判,仍是当前比较稳妥的使用方式。

    相关报道

    10 条在档