#Megatron-MUSA-Titan

摩尔线程把自己的万卡集群训练方案开源了，FP8 训练、MoE 通信优化都在里面，做国产 GPU 大模型训练的可以看看。