事件专题 ·多源确认

dSpark:用调度蒸馏加速扩散语言模型生成

dLLM 虽能并行生成多个 token,但往往需要多轮解码才能完成回复。dSpark 提出调度蒸馏框架,学习哪些 token 应优先揭示,让其余位置更快变得可预测,并用 KL 散度正则保持生成质量。在 GSM8K 上,dSpark 相对各基线在 LLaDA-8B-Instruct 上取得 10.12 倍加速,在 Dream-7B-Instruct 上取得 5.12 倍加速,同时任务表现更优。方法还在数学推理和代码生成任务上做了评估,代码已在 GitHub 开源。

当前结论

VILA-Lab 的 dSpark 让 LLaDA-8B 和 Dream-7B 这类扩散语言模型在 GSM8K 上最多快 10 倍,方法论文和代码都放出来了。

3 个信源43° AI 热度最后更新 2026/10/26 17:35:58

证据链

3 个信源
相关来源 2Noam Brown (OpenAI 推理)
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。