Domyn 借 PyTorch 与 TorchTitan 在 EuroHPC 超算上训练 1 万亿参数 MoE
Domyn 用 PyTorch 加 TorchTitan 在 EuroHPC 的 Jupiter 上训练万亿参数 MoE，把 384 块 GH200 的单卡吞吐从 90 拉到约 1300 tokens/s。优化代码已合回上游，做大规模训练的工程团队可以直接抄作业，比看论文更落地。
Domyn 团队在 EuroHPC 共享超级计算机 Jupiter 上，完成了 1 万亿参数 MoE 模型的训练扩展，该项目属于 European Frontier AI Grand Challenge。
通过 PyTorch 和 TorchTitan，每个副本 384 块 GH200 GPU 的单卡吞吐从 90 tokens/s 提升到约 1,300 tokens/s，提升超过 14 倍。Domyn 将相关优化贡献回传至 PyTorch 和 TorchTitan 上游。
对从事大规模分布式训练的团队而言，这些上游改动可直接复用于自己的训练管线。
Thanks to PyTorch and TorchTitan, the Domyn Team successfully scaled up the training of a 1 trillion parameter MoE on Jupiter, a shared EuroHPC supercomputer, in the context of the European Frontier AI Grand Challenge
Per-GPU throughput on 384 GH200 GPUs per replica rose from 90 to ~1,300 tokens/s
Learn about all the details and the upstream contribution on PyTorch and TorchTitan: https://t.co/3Mo6vOF9Os
@domynai
本条情报归属 AITOP「模型」核心栏目，重点聚焦欧洲人工智能治理与技术生态。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：PyTorch、TorchTitan、Domyn、MoE，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「PyTorch」（@PyTorch），经 AITOP 多维评分管线结构化提炼。
