Draft Model

concept · 首次出现 2026-07-10 · 最近出现 2026-10-23 · 累计提及 7

综述

Draft Model(草稿模型)是推测解码技术中负责快速生成候选 token 的小型模型,用于加速大语言模型的推理。它先以低成本批量起草若干候选词,再由目标大模型一次性验证,从而在几乎不损失输出质量的前提下提升生成速度,是当前 LLM 推理优化领域最受关注的方向之一。

Draft Model 的近期研究进展

围绕 Draft Model 的研究正在从单纯的“速度优化”向安全性与场景适配延伸。

  • 安全性验证:论文 Secure Speculative Decoding for Large Language Models 关注推测解码流程中的安全问题,指出草稿与验证链路可能成为攻击面,并提出面向大语言模型的 Secure Speculative Decoding 方案,让加速过程不引入额外风险。
  • Agentic Coding 场景:How to Speculate about Uncertainty in Agentic Coding? A Draft-Model Gate Method 提出 Draft-Model Gate 方法,利用草稿模型作为“门控”来估计代码智能体场景中的不确定性,决定何时深入验证,显示 Draft Model 的角色正从“候选生成器”扩展到“信号提供者”。
  • 免训练加速:A Practical Investigation of Training-free Relaxed Speculative Decoding 系统评估了无需额外训练的松弛式推测解码,通过放宽验证条件进一步提升吞吐,讨论了放宽程度与输出质量之间的实际权衡。
  • 当前焦点与观察点

    目前关于 Draft Model 的讨论集中在三点:一是草稿模型与目标模型的匹配度——两者分布越接近,候选 token 的接受率越高,加速效果越好;二是验证策略的取舍——严格的拒绝采样保证输出与原始模型完全一致,而松弛验证换取更高速度,这条边界如何划定仍是争议点;三是部署成本——训练或挑选一个高质量草稿模型本身有开销,免训练方案因此受到关注。

    从趋势上看,随着智能体应用对推理吞吐要求提高,Draft Model 的研究正走向场景化:安全关键任务需要安全验证机制,编程智能体需要不确定性估计,通用对话则需要免训练的轻量方案。后续值得观察的是推测解码能否在更长草稿长度、更大模型规模下保持稳定的加速收益,以及草稿模型与验证模型的组合方式是否会成为推理框架的默认配置。

    相关报道

    6 条在档