NVIDIA 发布 PyTorch MoE 训练优化指南，用分组执行减少内核启动开销

NVIDIA 发布博客，讲解如何在 PyTorch 中对 MoE 模型做性能优化。文中指出 Hugging Face 的基线实现用 Python 循环遍历所有专家，每个专家触发单独的内核启动，开销过大。分组执行（Grouped execution）保留各专家矩阵，但把计算合并提交，降低启动与调度开销。博客以生物基础模型为例演示高效的 MoE 训练。