推理加速指的是在不显著牺牲模型输出质量的前提下，降低大语言模型生成或处理文本所需的计算与时间开销的一类技术，涵盖投机解码、token 剪枝、多 token 预测、硬件适配等方向。随着模型规模和上下文长度不断增长，推理加速已成为开源社区与学术界最活跃的研究领域之一，近期多项工作集中在解码阶段和长上下文预填充（prefill）两个瓶颈上。
推理加速近期进展
当前焦点与观察点
推理加速目前的热点集中在投机解码及其变体上，一个值得关注的理论进展是 DeepSeek 的研究 投机解码接受率不随推理链长度衰减，这为该方法在长推理链场景下的有效性提供了依据，也解释了为何 EAGLE、MTP 等方案被主流推理框架快速采纳。
其次，加速对象正在从标准自回归模型扩展到扩散语言模型、循环 Transformer 等新架构，说明这一领域的方法论开始泛化。同时，Hugging Face 近期通过 直播讲解投机解码，提升本地模型推理速度 推动技术普及，反映出推理加速正从论文走向普通开发者的本地部署实践。
观察后续发展，可以留意三点：学习式剪枝（如 TokenGate）与投机解码能否在推理框架中组合使用；不同草稿模型在 vLLM 等框架中的兼容性演进；以及专用硬件上的原生支持是否会改变软件层面的加速优先级。