DLMs(Diffusion Language Models,扩散语言模型)是一类以迭代去噪方式生成文本的语言模型,与主流自回归模型逐 token 顺序生成不同,它可以从粗到细并行地'打磨'出整段文本。这一路线正成为自回归范式之外最受关注的替代方案,研究热度在近几个月明显上升。
DLMs 近期进展
当前焦点与观察点
从近期论文看,DLMs 的研究重心集中在三个方向:一是生成范式的重新设计,如 Stanford AI Lab 讨论的'先写草稿再补充细节'的写作方式,即让模型模拟人类先勾勒轮廓、再逐步细化的思考过程;二是训练-推理一致性与推理能力的修复,如自适应分块扩散和 CanvasAnneal 这类工作;三是表示形式本身的扩展,如 联合连续扩散用于语言建模 对层级表示去噪的尝试,以及 面向代码生成的强化学习方法 将扩散生成引入具体应用场景。
争议与不确定性依然存在:扩散语言模型在长文本连贯性、推理深度上尚未被证明稳定超越强自回归基线,部分改进更像是架构层面的探索而非范式验证。值得关注的观察点是:能否出现像自回归模型那样清晰可复现的规模化规律,以及 Amazon 等 工业实验室的参与 能否把 DLMs 推向实际产品。未来半年,推理基准上的对比结果和开源模型的表现,将是判断这条路线能否真正分流自回归垄断的关键。