#SPMD

PyTorch 核心维护者 Edward Z. Yang 亲自讲怎么在一张卡上提前发现分布式训练的崩溃、OOM 和数值 bug，靠 fake process group 和 SPMD 类型。不用烧多机集群就能排错，写训练代码的人都该看看这段 keynote。

官方账号PyTorch@PyTorch原文