#MirrorMoE

研究 MoE 的人可以看看这篇，它指出共享专家会抑制路由探索，并给出 MirrorMoE 这个修正方案，多规模实验都有效。