#激活转向

自蒸馏训练推理模型会让学生学会瞎编参考、不敢回头检查，这篇用激活转向治好了这两个毛病，AIME、HMMT 上准确率也涨了，做训练的可以看看。