DiTs(Diffusion Transformers,扩散Transformer)是一类将 Transformer 架构引入扩散模型、以注意力机制替代传统 U-Net 作为骨干网络的生成模型架构,目前已成为文本生成图像、视频生成等视觉生成领域的主流技术底座。自 DiT 被提出并经 Stable Diffusion 3、Sora 等模型推广后,围绕 DiTs 的研究重心正从架构验证转向训练效率与推理成本的优化。
DiTs 的近期研究进展
近期公开研究集中在三条主线上:训练加速、推理加速和量化压缩。
DiTs 的当前焦点与观察点
综合近期工作可以看到三个值得关注的趋势。第一,效率优先:由于 DiT 中全局注意力开销大,训练优化、缓存策略、training-free 加速与后训练量化构成了一套完整的降本组合,未来可能被整合进统一的推理框架。第二,机理研究升温:对 token 作用机制的分析表明社区不再满足于堆参数,而是试图理解 DiT 为何有效,这可能反过来指导架构设计。第三,应用外溢:从图像、视频到奖励建模和连续扩散语言模型,DiTs 正在被当作通用生成骨架复用。其争议点主要在于——缓存与量化在大幅提速的同时是否会造成生成质量的隐性损失,目前尚缺乏统一评测标准,实际部署时需要针对具体模型和采样步数做权衡验证。