蒸馏是一种AI模型压缩技术，通过将大型复杂模型的知识迁移到小型高效模型中，使小模型能够模仿大模型性能。近期，蒸馏技术在多个领域展现出创新应用，从多模态推理模型到语音合成系统都有突破。
蒸馏近期进展
Reka公司发布了Rho-1全模态推理模型，参数量达19B，模型延迟从13.8秒降至7.0秒，显著提升了多模态处理能力。Reka发布Rho-1：全模态推理模型，延迟从13.8秒降到7.0秒Paradee项目成功将Kokoro-82M模型蒸馏为仅8M参数的单音色TTS模型，大幅降低了语音合成模型的计算资源需求。Paradee：把Kokoro-82M蒸馏成8M参数的单音色TTS模型
OPPD蒸馏法实现了模型单次生成即达到power sampling 64候选的效果，显著提升了生成效率。OPPD蒸馏法让模型单次生成即达 power sampling 64 候选的效果
当前焦点与观察点
蒸馏技术正朝着更高效、更精准的方向发展。Harness感知蒸馏框架提升了小模型智能体性能，展示了蒸馏在智能系统中的潜力。Harness感知蒸馏框架提升小模型智能体性能同时，Off-Policy Merging方法持续学习超越了传统的On-Policy自蒸馏，为模型优化提供了新思路。Off-Policy Merging 持续学习方法超越 On-Policy 自蒸馏
Yann LeCun指出蒸馏成本低，前沿基础模型终将免费开源，预示着AI技术民主化的趋势。Yann LeCun：蒸馏成本低，前沿基础模型终将免费开源