Yandex 开源 yaFSDP：多 GPU 训练 LLM 提速 26%
Yandex 开源的 yaFSDP 直接对比 PyTorch FSDP：256 张 A100 训练 Llama 3 70B 快了约 26%。原理是把通信和计算重叠起来，减少 GPU 空转。自己搭训练集群、跑大参数模型的团队可以直接试试。
Yandex 开源的 yaFSDP 直接对比 PyTorch FSDP：256 张 A100 训练 Llama 3 70B 快了约 26%。原理是把通信和计算重叠起来，减少 GPU 空转。自己搭训练集群、跑大参数模型的团队可以直接试试。
