产品74°
Google 与 Meta 发布 TorchTPU，让 PyTorch 原生支持 TPU
精选理由
Google 和 Meta 把 TPU 接进了 PyTorch，训练 Llama 3 405B 能近线性扩展，推理直接用 vLLM，用 PyTorch 的人可以看看。
Google 与 Meta 联合发布 TorchTPU，为 PyTorch 提供 Google TPU 的原生支持，包括真正的 eager execution 和 torch.compile 后端。推理侧已打通 vLLM 与 SGLang 两条主流推理框架。训练侧通过 TorchTitan 对 Llama 3 405B 和 Qwen 3 MoE 实现近线性扩展。
原文 · PyTorch
@Google & @Meta launch TorchTPU for native PyTorch support on Google TPUs!
🔥True eager execution & torch.compile backend ⚡Fast inference via vLLM & SGLang 🏋️Near-linear scaling for Llama 3 405B & Qwen 3 MoE via TorchTitan
Read more here: https://t.co/58t22euksA https://t.co/tjsip6GgDg
- Xianbao Qian10-19 15:59原文
