主要来源PyTorch
查看原文事件专题 ·多源确认
TorchTitan 更新:支持 DeepSeek-V4 等 5D 并行,新增 TitanRL 框架
TorchTitan 在 PyTorch 原生框架中加入完整 5D 并行支持,覆盖 DeepSeek-V4、Qwen3.5、Kimi K3 和 Muse Spark Open 等模型。新发布的 TitanRL 框架统一了后训练与智能体工作负载的流程。FlexShard 可将分布式 Muon 优化器耗时最多降低 79%,torch_checkpointing 在 512 张 GPU 上将 checkpoint 阻塞时间压缩到 34 毫秒。
当前结论
PyTorch 官方的 TorchTitan 大更新,DeepSeek-V4 和 Qwen3.5 都能跑 5D 并行了,Muon 优化器还能提速 79%,训大模型的得看看。
3 个信源68° AI 热度最后更新 2026/10/21 20:00:12
证据链
3 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。