OPSD(On-Policy Self-Distillation,在线策略自蒸馏)是一种让模型在自身生成的输出上同时扮演教师和学生角色、实现自我改进的训练范式,近年来在强化学习与自蒸馏交叉的模型训练研究中占据重要位置。相比依赖外部教师模型或固定数据集的传统蒸馏,OPSD 强调模型在自身当前策略分布上采样并进行知识蒸馏,从而减少分布偏移问题,但同时也暴露出教师信号质量、持续训练稳定性等新挑战。
OPSD 的近期研究进展
应用拓展与挑战
OPSD 的思路也开始延伸到多模态和特定能力训练场景。VAG 将在线自蒸馏与强化学习结合,用于提升模型的视觉可归因能力(论文提出视觉可归因的在线自蒸馏强化学习方法 VAG)。Squint OPSD 则被用于训练多模态大模型识别只有人类眯眼才能辨认的低质量文字,并配套发布了 SquintBench 评测基准(MLLM读不出人眯眼才见的文字?SquintBench与Squint OPSD方法)。
当前焦点与观察点
围绕 OPSD 的争议主要集中在两点:一是它是“最优路线”还是“过渡方案”——Meta 的新方法已在 Qwen3-8B 上取得翻倍以上的准确率提升,直接冲击了 OPSD 的方法地位;二是它与持续学习(Continual Learning)的关系,近期的研究讨论会指出数据难题仍是该方向的核心瓶颈(OPSD与Continual Learning研究讨论会聚焦数据难题)。此外,一些工作开始探索替代路线,如 Off-Policy Merging 持续学习方法在某些场景下已超越 On-Policy 自蒸馏(Off-Policy Merging 持续学习方法超越 On-Policy 自蒸馏)。总体来看,OPSD 相关研究正从单一范式验证阶段,进入“改进教师信号、自适应调节、与替代方法对比”的精细化竞争阶段,后续值得持续观察其在开源小模型训练中的实际落地效果。