#On-Policy Distillation

训练小模型的同学可以看看这篇：用分支采样蒸馏，token 成本降三成，数学和 agent 任务成绩都比普通蒸馏高不少。

一个模型同时当老师和学生，解决 RL 训练中教师给出学生学不动的指导的问题，推理和写代码任务都有效。