论文精选
DRMoET 论文：MoE 负载均衡声称超越 DeepSeek 无辅助损失方案
精选理由
搞 MoE 训练的可以看看这篇：新负载均衡方法号称压过 DeepSeek 的 aux-loss-free，吞吐还不掉。
论文提出 DRMoET（Distributionally Robust Mixture-of-Experts Training），针对 MoE 训练中的负载均衡问题给出新方案。该方法通过降低不完美路由（imperfect routing）带来的惩罚来提升 MoE 表现。文中称其效果优于 DeepSeek 的 aux-loss-free 负载均衡方法，且不付出吞吐量代价。
原文 · Teortaxes
Distributionally Robust Mixture-of-Experts Training Interesting improvement to load balancing, that seems to do even better than DeepSeek's aux-loss-free at no throughput cost. «DRMoET improves MoE performance… [also] by reducing the penalty of imperfect routing». https://t.co/IHh8GXQ0tu
