§ 01综述
self-distillation 综述
self-distillation是一种机器学习方法，通过模型自身生成数据并进行训练以优化性能，在人工智能领域逐渐成为研究热点。
self-distillation 近期进展
[One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation]（https://arxiv.org/abs/2608.25936v1）：该论文对on-policy自蒸馏算法展开系统性分析，提出三重调节机制以解决算法稳定性问题，为同类研究提供理论参考。
[线性探测实现整流流的最优自蒸馏]（https://arxiv.org/abs/2607.14947v1）：研究人员探索线性探测技术在整流流中的应用，实现最优自蒸馏效果，推动算法在实际场景落地。
[诊断与缓解On-Policy Self-Distillation中的Thinking Collapse]（https://arxiv.org/abs/2607.10805v1）：针对on-policy自蒸馏中存在的思考崩溃问题，提出诊断与缓解方案，提升算法可靠性。
[Purified OPSD：不丧失思考能力的在线自蒸馏方法]（https://arxiv.org/abs/2607.02234v1）：开发新型在线自蒸馏方法，在不丧失模型思考能力的前提下优化性能，拓展应用边界。
[On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity]（https://arxiv.org/abs/2606.26091v1）：利用采样演示的自蒸馏方法降低输出多样性，优化算法表现。
[重新思考奖励监督：Rubric-Conditioned Self-Distillation]（https://arxiv.org/abs/2606.19327v1）：从奖励监督角度重新审视自蒸馏，提升算法精准度。
[Skill-Conditioned Gated Self-Distillation 提升 LLM 推理能力]（https://arxiv.org/abs/2605.28791v1）：技能条件门控自蒸馏方法有效大语言模型推理能力，拓展AI场景。
当前焦点与观察点
目前self-distillation在算法优化方向呈现多元化趋势，不同场景下的针对性研究成为重点。从现有报道来看，研究者们围绕算法稳定性、实际应用效果等方面持续完善技术体系，同时也在探索其在大型语言模型等领域的延伸应用。尽管存在一些挑战，但整体上该方法在提升模型效率与性能方面的潜力得到广泛认可，未来有望在更多人工智能应用场景中得到实践验证。