联邦学习结合分片数据并行加速大模型训练
这是篇挺有意思的技术论文，作者把联邦学习的思想用在了大模型训练上，在 512 块 A100 上跑 Llama3.1 8B 时，数据吞吐量提升了 8.04 倍，挺厉害的。
#分片数据并行
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「分片数据并行」标签的资讯、产品与论文，按刊登时间排，新的在上。
9月18日
这是篇挺有意思的技术论文，作者把联邦学习的思想用在了大模型训练上，在 512 块 A100 上跑 Llama3.1 8B 时，数据吞吐量提升了 8.04 倍，挺厉害的。