On-Policy Self-Distillation(在线策略自蒸馏,常缩写为 OPSD)是一类大模型训练方法:模型在自己当前生成的输出上,将自身或特权教师的知识蒸馏回自身,从而缩小训练与推理之间的分布偏移。它介于传统离线蒸馏与强化学习之间,近一年在持续学习、视觉生成和工具调用推理等场景中被广泛借用,也开始出现针对其有效边界的系统性检视。
On-Policy Self-Distillation 的近期进展
应用扩展与争议焦点
除语言模型外,On-Policy Self-Distillation 正快速渗透到多模态领域:OPD-V(arXiv:2608.05131 关注模态平衡问题),LIFT 则把该思路用于大视角变化下的视频生成布局预测(相关发布),TurnSight(arXiv:2608.04007)在工具集成推理中采用轮次级别的回溯自蒸馏。与此同时,OP-Print(arXiv:2610.31616)尝试追踪 OPSD 过程中留下的成员关系印记,提示这类方法可能带来训练数据记忆层面的隐私与审计问题。
当前焦点与观察点
综合来看,围绕 On-Policy Self-Distillation 的讨论正从「提出新变体」转向「厘清适用条件」:一方面,它在视觉生成、多模态推理等新领域持续扩张;另一方面,批判性综述与 off-policy 对比工作开始质疑其相对离线方法的真实增益。值得关注的是训练数据记忆风险、教师信号的来源与归因,以及在线策略采样带来的额外计算成本是否物有所值——这些将成为判断 OPSD 能否成为长期主流训练范式的关键观察点。