Draft Model(草稿模型)是推测解码技术中负责快速生成候选 token 的小型模型,用于加速大语言模型的推理。它先以低成本批量起草若干候选词,再由目标大模型一次性验证,从而在几乎不损失输出质量的前提下提升生成速度,是当前 LLM 推理优化领域最受关注的方向之一。
Draft Model 的近期研究进展
围绕 Draft Model 的研究正在从单纯的“速度优化”向安全性与场景适配延伸。
当前焦点与观察点
目前关于 Draft Model 的讨论集中在三点:一是草稿模型与目标模型的匹配度——两者分布越接近,候选 token 的接受率越高,加速效果越好;二是验证策略的取舍——严格的拒绝采样保证输出与原始模型完全一致,而松弛验证换取更高速度,这条边界如何划定仍是争议点;三是部署成本——训练或挑选一个高质量草稿模型本身有开销,免训练方案因此受到关注。
从趋势上看,随着智能体应用对推理吞吐要求提高,Draft Model 的研究正走向场景化:安全关键任务需要安全验证机制,编程智能体需要不确定性估计,通用对话则需要免训练的轻量方案。后续值得观察的是推测解码能否在更长草稿长度、更大模型规模下保持稳定的加速收益,以及草稿模型与验证模型的组合方式是否会成为推理框架的默认配置。