Speculative（推测解码，Speculative Decoding）是一种大语言模型推理加速技术：用一个小型草稿模型快速生成若干候选 token，再由目标大模型一次性并行验证，从而在不改变输出分布的前提下显著降低生成延迟。随着本地部署和 Agent 应用兴起，它已成为推理优化领域最受关注的方向之一，各家推理框架和研究团队都在持续迭代相关方法。
Speculative Decoding 近期进展
当前焦点与观察点
推测解码目前的核心议题集中在三点：一是工具生态整合，vLLM、Hugging Face 等框架的直播和文档降低了使用门槛，让个人开发者也能在本地部署中获得收益；二是方法多样化，从 AsymSpec 的上下文不对称设计、ASD 的免训练近似方案，到 Next-Latent Prediction 通过让 Transformer 预测隐状态实现推理加速 3.3 倍，草稿机制正超出传统小模型范畴；三是应用外延，如 Speculative Programmatic Tool Calling (sPTC) 把投机思想迁移到工具调用环节，提示该范式可能覆盖更多 Agent 推理路径。
同时，推测解码已成为大模型工程面试的常考知识点，与 KV Cache、ZeRO、DualPipe 并列为训练与推理优化核心考点，相关开源课程（如包含 20 个阶段的 AI Engineering from Scratch）也将其纳入教学。行业层面，NVIDIA 持续分享 LLM 推理加速技巧，而 DeepSeek-V4-Flash-0731 等新模型曝光的 304B 参数、13B 激活、1M 上下文规格，也意味着高吞吐推理需求会进一步推动投机解码技术演进。值得观察的方向包括：草稿模型与目标模型的匹配策略、在长上下文与多轮 Agent 场景下的稳定性，以及近似方法带来的输出一致性争议是否会催生统一的评测标准。