#LLaDA

这篇论文实测了 LLaDA 和 Dream 这些扩散模型的每 token 能耗，长序列下比 Llama、Qwen 省一半电，做推理成本优化的可以看看。

只拿 200 道题微调，就让 LLaDA-8B-Instruct 的数学和代码成绩跑赢 SFT 和扩散 RL，方法还挺省算力，做扩散模型训练的可以看看。

这篇论文发现扩散LLM的安全对齐其实很脆，用剪枝就能把越狱成功率拉到80%多，还给了个黑盒攻击框架SN-Guided Diffusion，成本低效果好。

掩码扩散模型的位置编码一直照搬自回归那套，MDLMPE 第一个把遮盖状态算进去，在 LLaDA 和 DREAM 上效果更好。

这项研究解决了扩散语言模型在少步解码时的质量-长度权衡问题，做文本生成或摘要的开发者可以直接用DSL-LLaDA获得更好的零样本效果，值得关注。