产品精选
vLLM 与 Google 合作推出 vLLM-TorchTPU，支持 TPU 推理
精选理由
vLLM 和 Google 一起搞了个 vLLM-TorchTPU，用 PyTorch 就能在 TPU 上跑推理，还带前缀缓存和投机解码，不想绑死 GPU 的可以看看。
vLLM 团队与 Google、inferact 合作发布了 vLLM-TorchTPU，让开发者可以在 TPU 上用原生 PyTorch 工具做模型推理。该方案支持前缀缓存、投机解码和分离式部署等功能。这延续了 vLLM 跨硬件支持 P10、TPU 等多类推理芯片的策略。
原文 · vLLM
vLLM 🤝 TPU
🚀 Native PyTorch serving on TPUs is here! Built with @Google and @inferact, vLLM-TorchTPU brings familiar PyTorch tools to TPU inference, with prefix caching, speculative decoding, and disaggregated serving.
🛠️ Excited to keep building with the community!
