speculative decoding(推测解码)是一种加速大语言模型推理的技术：用一个轻量草稿模型先快速猜出若干候选 token,再由大模型一次性并行验证，从而在保证输出分布不变的前提下把自回归生成变为批量计算，通常可带来 2-3 倍的生成加速。它不改动模型权重，因此成为量化之外最常用的推理优化手段之一。
speculative decoding 的近期研究进展
当前焦点与观察点
目前的争论集中在三点:一是验证规则能否松弛，以及松弛后“无损加速”这一核心承诺是否还成立；二是草稿模型训练目标与真实加速之间的错配，新工作正尝试直接优化端到端指标；三是安全性,如面向大模型的安全推测解码所讨论的，草稿模型引入的供应链与输出一致性风险开始受到关注。工程侧,Hugging Face 与 AI Engineer 社区的讨论(MiniMax 工程师谈量化与推测解码的叠加收益)表明，业界更关心多种加速手段组合后的实际倍率。整体看,speculative decoding 已从论文技巧进入主流推理栈,下一步的关键是更聪明的草稿策略、更松的验证理论与多架构适配。