DFlash

general · 首次出现 2026-05-22 · 最近出现 2026-10-23 · 累计提及 52

综述

DFlash 是一种用于大模型推测解码(Speculative Decoding)的草稿模型方案,通过生成块状草稿序列来加速目标模型的推理输出,属于当前 LLM 推理优化生态中的活跃分支之一。它的定位与 MTP、EAGLE 等草稿模型类似,都是为了在保证输出质量的前提下降低自回归生成的延迟。

DFlash 的近期进展

推测解码框架正快速吸收多种草稿模型,DFlash 所处的生态在持续完善。vLLM 的自适应验证机制不再依赖训练置信头,宣布兼容 MTP、EAGLE 等草稿模型,这意味着 DFlash 这类草稿方案接入主流推理引擎的门槛进一步降低,无需针对特定引擎做额外训练。

理论层面,块状生成中的信息下限与模型差距研究探讨了块状草稿生成的接受率上限问题,为 DFlash 一类方法的设计提供了理论参照:草稿模型与目标模型的差距直接决定可接受的草稿长度和最终加速比。

同类思路也在扩散式解码方向延伸,例如 DARTree 提出用自回归草稿树实现推测性扩散解码,与 DFlash 共享"草稿—验证"的框架,但验证端换成扩散模型,显示草稿生成技术正在向非自回归目标模型迁移。

当前焦点与观察点

投机解码领域的竞争已经从"有没有"转向"加速比与通用性"。腾讯混元开源的 AngelSpec 框架中,DFly 实现了 1.98-2.40 倍加速(报道),可以作为衡量 DFlash 等方案效果的参考基准。

另一个观察点是推理引擎对草稿模型的支持策略。vLLM 在 v0.25.0 中将 Model Runner V2 设为默认,引擎层与草稿机制的耦合方式在变化;SGLang 则通过首发支持 Muse Glimmer 展示了草稿协同的实际收益——RTX 5090 上达到 230 tok/s。

对 DFlash 而言,值得关注的三个问题:一是草稿模型自身的训练与维护成本是否随目标模型升级而膨胀;二是在长上下文、智能体等长输出场景(如 Nemotron 3.5 Lightning 面向的长时智能体执行)中,块状草稿的接受率能否保持稳定;三是与自适应验证等免训练方案的组合效果。整体来看,DFlash 所代表的草稿生成路线仍是推理加速的主力方向,但其优势窗口正在被更通用的框架特性逐步压缩。

相关报道

10 条在档