#on-policy distillation

一种新的蒸馏方法，不看 token 概率也不硬对齐隐藏状态，靠响应相似度传递教师知识，跨架构蒸馏也能涨点，做模型压缩的可以看看。