#FSDP

训练超过单机显存的模型时，Muon 这类优化器会被跨卡通信拖慢，这篇论文的 Dobb 把矩阵更新改成块内本地计算，H100 上优化器调用从 124ms 降到 9.2ms，做分布式训练的可以看看。