策略蒸馏

general · 首次出现 2026-06-02 · 最近出现 2026-11-17 · 累计提及 12

综述

策略蒸馏是强化学习中的一种模型压缩与知识迁移技术,核心思路是把训练成本高、结构复杂的教师策略的行为转化为更小的学生模型,使其在不依赖环境交互的情况下继承决策能力。随着大模型智能体和具身控制的发展,策略蒸馏正从传统的性能保持工具,扩展为可解释性、安全对齐和离线训练的重要技术路径。

策略蒸馏的近期进展

  • RetireOPD:一种用于强化学习智能体的自退火策略蒸馏方法提出了自退火机制,让蒸馏过程中教师对学生的影响逐步减弱,缓解了长期依赖教师导致的性能上限受限问题。
  • SAPD:不依赖环境交互、从离线轨迹训练 LLM 智能体针对大模型智能体的训练成本问题,直接从离线轨迹中蒸馏出智能体策略,绕开了昂贵的在线交互环节,体现了策略蒸馏在 LLM 时代的新用法。
  • RISE:递归改进通过自我外推策略蒸馏把蒸馏与自我改进结合起来,通过迭代外推让策略在蒸馏过程中不断提升,而非简单复制教师表现。
  • SafeSteer:局部化策略蒸馏实现高效安全对齐则将策略蒸馏用于安全对齐场景,通过局部化的蒸馏方式在保持能力的同时约束模型行为边界。
  • 当前焦点与观察点

    从近期研究看,策略蒸馏的关注点呈现三个方向。其一是脱离环境交互:SAPD 等工作表明,蒸馏正在成为从离线数据训练智能体的主要手段之一,这对降低大模型智能体的训练成本有直接意义。其二是打破模仿的局限:Estimate, Don't Imitate(https://arxiv.org/abs/2609.34018v1)等研究尝试用估计而非模仿的方式复用策略,RetireOPD 和 RISE 也都指向同一问题——学生不应止步于复制教师,而应具备继续改进的空间。其三是可解释性与安全应用:物理感知策略蒸馏(https://arxiv.org/abs/2607.24672v1)与 ReShap 面向高维多动作环境的可解释框架(https://arxiv.org/abs/2611.15507v1)说明,策略蒸馏正被用作解释复杂策略、提升透明度的工具。

    值得观察的争议点在于蒸馏的度:过强的教师依赖会限制学生上限,过弱的引导又可能损失已有能力,自退火、递归改进等方案尚缺乏统一的评测标准。此外,策略蒸馏在 LLM 智能体场景的有效性仍主要依赖轨迹质量,离线数据与真实环境分布不一致带来的偏差如何量化,是下一步需要解决的问题。

    相关报道

    8 条在档