扩散模型是一类通过逐步加噪再逆向去噪来生成数据的生成式 AI 模型,也是当前图像、视频乃至世界模型生成的主流技术路线之一。它的基本思路是先把真实数据破坏成噪声,再训练网络学会一步步还原,从而能够从随机噪声出发合成新样本。相比早期的生成对抗网络,扩散模型在训练稳定性和生成质量上更有优势,但采样速度与算力开销一直是它的软肋。
扩散模型近期进展
在架构层面,扩散模型正试图跳出传统的噪声空间。Iris-3B 探索了在像素空间直接训练、转换与微调扩散模型的方法,绕开潜空间编码器带来的信息损失(Iris-3B:像素空间扩散模型的训练、转换与微调方法)。与此同时,PaTh 把递归推理引入扩散模型,在像素空间解 Sudoku 这类结构化任务上验证了新的推理路径(PaTh:把递归推理引入扩散模型,像素空间解 Sudoku)。语言方向也有动作,ALoDLM 提出自适应循环扩散语言模型,试图把去噪思路扩展到文本生成(ALoDLM:自适应循环扩散语言模型论文发布)。
在应用与评测端,世界模型成为扩散模型的重要落点。Odyssey 发布世界模型 Odyssey-3,其 Pro 版在 Physics-IQ Verified 上得分 66.1(Odyssey 发布世界模型 Odyssey-3,Pro 版 Physics-IQ Verified 得分 66.1)。WorldSonus 则为世界模型配上实时空间立体声,拓展了多模态生成边界(WorldSonus:给世界模型配上实时空间立体声)。不过范式之争并未停歇,有评论认为 VAR 在世界建模上优于扩散模型(评论:VAR 被视为优于扩散模型的世界建模范式)。
当前焦点与观察点
可靠性与效率是扩散模型眼下的两条主线。arXiv 上的研究提出,记忆化现象可通过能量盆地几何与循环去噪提前检测,这为版权与数据泄露风险提供了检测思路(扩散模型记忆化可通过能量盆地几何与循环去噪提前检测)。组合性失败也被针对性修复,ORCA 通过对齐文本与视觉表示来改善这一问题(ORCA:对齐文本与视觉表示,修复扩散模型组合性失败)。此外,分层误差归因方法让混合精度量化提速最高 2570 倍(分层误差归因方法让混合精度量化提速最高2570倍),苹果则发布轨迹归一化模型 NTM(苹果发布轨迹归一化模型NTM)。值得观察的是,扩散模型能否在速度、可控性与世界建模正确性上同时站稳,还是会被新范式分流。