摩尔线程开源 Megatron-MUSA-Titan，支持万亿参数 MoE 训练
摩尔线程把自家万卡集群训万亿参数 MoE 的训练栈开源了，带块级 FP8，国产 GPU 上也能跑 Megatron 式大规模训练。
#Megatron
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Megatron」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月29日
摩尔线程把自家万卡集群训万亿参数 MoE 的训练栈开源了，带块级 FP8，国产 GPU 上也能跑 Megatron 式大规模训练。