self-distillation（自蒸馏）是一种让模型以自身（或其不同版本、不同分支）的输出作为监督信号进行训练的方法，因无需外部强教师模型而成为大模型后训练中的活跃方向。它最早用于模型压缩，如今被广泛用于 LLM 的推理增强、智能体自我纠错与信念建模，核心矛盾也随应用扩大而显现：如何在不牺牲输出多样性与思考能力的前提下，从自身获得有效监督信号。
self-distillation 近期进展
近期研究集中在对 on-policy self-distillation（OPSD）的反思与改进上。《One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation》原文标题对在线自蒸馏做了批判性梳理，把常见失效归因于若干可控因素；《诊断与缓解On-Policy Self-Distillation中的Thinking Collapse》原文标题与《Purified OPSD：不丧失思考能力的在线自蒸馏方法》原文标题则分别指认并尝试修复“思考坍缩”问题。另一条线索指向多样性：《On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity》原文标题给出了输出同质化的证据与解释。
在方法创新层面，多篇工作把自蒸馏与更细粒度的监督信号结合。EESD 用 Dirichlet 证据加权改进代码智能体的自我纠错学习原文标题，Apple 提出的 RISED 则基于 rubric 做多环境智能体训练数据选择原文标题。《重新思考奖励监督：Rubric-Conditioned Self-Distillation》原文标题沿同一思路把评分标准引入蒸馏目标；《Belief Self-Distillation：让 LLM 的用户信念可读可写》原文标题则把自蒸馏用于用户信念的可读可写表示。
此外，理论侧也有推进。《线性探测实现整流流的最优自蒸馏》原文标题给出整流流场景下的最优性结论，而《Activation-Conditioned Self-Distillation研究发布》原文标题把条件从输出层扩展到激活层，扩大了自蒸馏的作用面。
当前焦点与观察点
当前 self-distillation 的核心争议在于“自我监督的收益边界”：一方面，它能降低对昂贵标注和强教师的依赖；另一方面，多篇工作反复报告的思考坍缩与多样性下降提示，监督信号过于集中可能损害模型的探索能力。如何用 rubric、证据加权等机制保留有效梯度而不压制多样性，是接下来值得跟踪的方向。此外，理论最优性与大规模智能体场景之间的差距，仍待更多实证填补。