主要来源IT之家
查看原文事件专题 ·单一信源
摩尔线程开源 Megatron-MUSA-Titan，面向万卡集群训练万亿参数 MoE 模型
摩尔线程 10 月 28 日开源训练基础设施项目 Megatron-MUSA-Titan，聚焦万卡级集群上万亿参数 MoE 模型的训练。该项目已在摩尔线程万卡集群的万亿参数 MoE 预训练中持续应用，支持 blockwise FP8 低精度训练，并可结合 DeepEP 与 ACE 异步通信引擎加速 Token 分发与专家并行。项目还支持与 slime、miles 强化学习框架协同，配合 SGLang 样本生成，覆盖预训练与强化学习两大场景。代码已发布在 GitHub。
当前结论
摩尔线程把自己的万卡集群训练方案开源了，FP8 训练、MoE 通信优化都在里面，做国产 GPU 大模型训练的可以看看。
2 个信源53° AI 热度最后更新 2026/10/28 10:16:40
证据链
2 个信源相关来源 1pandaily
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。