OPSD

concept · 首次出现 2026-05-22 · 最近出现 2026-10-30 · 累计提及 38

综述

OPSD(On-Policy Self-Distillation,在线策略自蒸馏)是一种让模型在自身生成的输出上同时扮演教师和学生角色、实现自我改进的训练范式,近年来在强化学习与自蒸馏交叉的模型训练研究中占据重要位置。相比依赖外部教师模型或固定数据集的传统蒸馏,OPSD 强调模型在自身当前策略分布上采样并进行知识蒸馏,从而减少分布偏移问题,但同时也暴露出教师信号质量、持续训练稳定性等新挑战。

OPSD 的近期研究进展

  • Meta 提出的替代 OPSD 的训练方法带来显著提升:在 Qwen3-8B 上,平均准确率从 30.76% 提高到 65.97%,这一结果引发了对 OPSD 效率上限的讨论(Meta 提出替代 OPSD 的训练方法,Qwen3-8B 平均准确率从 30.76% 升至 65.97%)。
  • ST-OPSD 针对思维模型自蒸馏中教师模型的缺陷,引入激活转向(activation steering)机制来修正教师信号质量问题(ST-OPSD:用激活转向修复思维模型自蒸馏中的教师缺陷)。
  • TESD 从另一个角度改进这一范式,通过教师进化机制提升 On-Policy 自蒸馏的训练效果(TESD:用教师进化机制改进 On-Policy 自蒸馏训练)。
  • DualOPSD 提出自适应策略自蒸馏方案,让蒸馏强度随训练状态动态调整(DualOPSD:自适应策略自蒸馏方法)。
  • VISTA 则引入验证器,实现学生-教师之间的自适应蒸馏(VISTA:基于验证器的学生-教师自适应蒸馏方法)。
  • 应用拓展与挑战

    OPSD 的思路也开始延伸到多模态和特定能力训练场景。VAG 将在线自蒸馏与强化学习结合,用于提升模型的视觉可归因能力(论文提出视觉可归因的在线自蒸馏强化学习方法 VAG)。Squint OPSD 则被用于训练多模态大模型识别只有人类眯眼才能辨认的低质量文字,并配套发布了 SquintBench 评测基准(MLLM读不出人眯眼才见的文字?SquintBench与Squint OPSD方法)。

    当前焦点与观察点

    围绕 OPSD 的争议主要集中在两点:一是它是“最优路线”还是“过渡方案”——Meta 的新方法已在 Qwen3-8B 上取得翻倍以上的准确率提升,直接冲击了 OPSD 的方法地位;二是它与持续学习(Continual Learning)的关系,近期的研究讨论会指出数据难题仍是该方向的核心瓶颈(OPSD与Continual Learning研究讨论会聚焦数据难题)。此外,一些工作开始探索替代路线,如 Off-Policy Merging 持续学习方法在某些场景下已超越 On-Policy 自蒸馏(Off-Policy Merging 持续学习方法超越 On-Policy 自蒸馏)。总体来看,OPSD 相关研究正从单一范式验证阶段,进入“改进教师信号、自适应调节、与替代方法对比”的精细化竞争阶段,后续值得持续观察其在开源小模型训练中的实际落地效果。

    相关报道

    10 条在档