Kullback-Leibler 散度(常缩写为 KL 散度或 KL)是信息论中衡量两个概率分布差异程度的基础度量,在机器学习中既是训练目标的关键正则项,也是模型蒸馏、强化学习和分布对齐的核心工具。它本身不可对称、也非严格意义上的距离,但其良好的数学性质使其在从深度学习到大模型对齐的广泛场景中持续扮演关键角色。近期的论文显示,KL 正则化与蒸馏框架正在快速演化。
Kullback-Leibler 散度的近期进展
当前焦点与观察点
围绕 Kullback-Leibler 散度,当前的讨论主要集中在三个方向:一是正则化形式的选择,前向 KL、反向 KL 与熵正则的组合会带来不同的探索性与模式覆盖特性,在强化学习和 LLM 对齐中影响显著;二是蒸馏中的误差控制,教师偏差与多轮交互下 KL 误差的累积成为新的研究热点;三是理论收敛保证,KL 正则被证明可以改善离线学习的收敛率。一个值得关注的趋势是,KL 项正从通用的防退化约束,转变为可以被精细设计、校准甚至不确定性调节的对象。对从业者的观察建议是:在策略优化和蒸馏场景中,应根据任务特点评估前向与反向 KL 的取舍,并关注校准与正则强度的联合调优。