蒸馏只能复制输出 logits,无法复制隐藏思维链
精选理由
做模型蒸馏前值得搞清楚的一点:你只能拿到 logits,拿不到思维链,所以蒸馏推理模型效果会打折扣。
这条推文澄清了蒸馏机制的一个常见误解:蒸馏只复制模型的输出 logits,不会复制其隐藏的思维链(chain of thought)。这意味着学生模型只能学到教师模型的最终输出分布,而学不到中间推理过程。对于想通过蒸馏 Qwen 或 DeepSeek 等推理模型来获得推理能力的团队来说,这是一个关键限制。
原文 · Teortaxes
> distillation only copies output logits not the hidden chain of thought https://t.co/ATZIiTH1ZR