论文Agent 与开发者精选09:50TIDE：零拷贝集合通信优化让 FSDP2 训练步时最多降低 27.1%训练大模型时通信开销很头疼，这篇把 FSDP2 的布局转换和 reduce-scatter 都重写了，64 卡上步时省 27%，还给出了具体实现思路。#FSDP2#NCCL#分布式训练#RDMAaarXiv cs.LG@Zejian Wang 等 14 人原文稍后读已读值得跟进有用关注 FSDP2