Hugging Face 推出大规模 MoE 训练指南，配可视化讲解
Hugging Face 的人写了个 MoE 训练教程，配了好多可视化图，想搞懂混合专家模型怎么训的可以直接存下来慢慢看。
#MoE训练
共 4 条 · 7 天 0 条 · 30 天 2 条
信息流里打上「MoE训练」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月6日
10月30日
Prime Intellect 发布 Prime Mega MoE：让 Mega MoE 内核支持训练
Prime Intellect 把 DeepSeek 的 Mega MoE 内核加上了反向传播，Qwen3 MoE 训练能快 34%，做 MoE 训练的可以看看。
8月5日
Cursor开源MoK：MoE训练内核速度提升2.37倍
Cursor开源了MoK内核，把MoE训练的通信和计算合成一个内核，跑得比公开基线快2.37倍，搞NVL72训练的可以看看。
5月25日
HyperParallel-MoE：在昇腾NPU上实现快速MoE训练的多核交错调度
对于在昇腾NPU上训练大规模MoE模型的团队，HyperParallel-MoE通过细粒度异构调度解决了通信与计算重叠不足的痛点，实测延迟降低1.58倍，值得关注并尝试集成到现有框架中。