SMD 多模态蒸馏框架:4 步生成高质量图片与视频
SMD 把图像视频生成的计算步数压到 4 步左右,还支持 3D 和音视频同步,代码开源,玩生成的可以试试。
SMD 是一套面向多模态生成任务的蒸馏加速框架,可让小模型学习大模型的生成效果。应用 SMD 后,模型只需约 4 步计算就能生成细节逼真的图片与视频,而传统模型通常需要几十步。该框架适配图片生成与编辑、3D 物体建模、长视频生成以及音视频同步生成等多种任务,模型权重和代码已在 GitHub 开源。
SMD:多模态蒸馏框架
一套蒸馏加速框架,让小模型能以极短的生成路径快速学会大模型的效果,适用于AI绘画、AI视频、AI语音等多模态场景。
应用 SMD 之后,AI模型只需要经过 4 步左右的计算就能生成细节逼真的高质量图片与视频,生成效率比传统需要几十步计算的模型有了明显提升。而且这项技术通用性很强,不仅能用于图片生成与编辑,还全面适配了 3D 物体建模、长视频生成以及音视频同步生成等多种复杂的多模态任务。
模型:https://t.co/kBjlxBW20f Github:https://t.co/dzIcGySux4 项目地址:https://t.co/cZSvOQ5JRO