#C-MOPD

Turing 这篇论文讲怎么把多个专家模型蒸馏进一个 MoE，80 多行细节，还把训练步骤快了 2.86 倍，做训练的人可以看看。