#ZeRO

共 3 条 · 7 天 0 条 · 30 天 2 条

DeepSpeed 2 PyTorch 2 PyTorchCon 1 分布式训练 1 并行计算 1 微调 1

信息流里打上「ZeRO」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月7日

技巧 Agent 与开发者精选07:02

DeepSpeed 不只 ZeRO：PyTorchCon 将详解 AutoTP、AutoSP、AutoEP 并行方案

DeepSpeed 常被当成只做 ZeRO 显存优化，这场演讲会讲它的自动张量、序列、专家并行，还带基准数据，做大模型训练的可以看看。

#DeepSpeed #ZeRO #PyTorch #分布式训练

官方账号PyTorch@PyTorch原文

产品 Agent 与开发者精选06:45

PyTorchCon将介绍DeepSpeed新并行技术

PyTorchCon将揭秘DeepSpeed超越ZeRO的新并行技术，看看AutoTP、AutoSP和AutoEP如何提升训练效率。

#DeepSpeed #PyTorch #ZeRO #并行计算

官方账号PyTorch@PyTorch原文

6月10日

论文 Agent 与开发者精选10:11

Piper：可编程分布式训练系统，解耦策略与运行时实现

Piper 解决了分布式训练中策略与实现绑定的痛点，做大规模模型训练或并行策略研究的开发者可以直接用这套框架灵活组合新策略，省去手动调优的麻烦。

#分布式训练 #并行策略 #中间表示 #ZeRO

arXiv: DeepSeek@Megan Frisella 等 8 人原文