产品多源确认精选11月6日 03:32

vLLM 生态在 TPU 上的进展获 SemiAnalysis 关注

官方账号vLLM@vllm_project

推文· 6 个信源在谈

精选理由

vLLM 官方转了篇 TPU 推理生态的分析，Kimi K3、GLM-5.2、Qwen3.5 都跑在上面，做推理部署的可以看看。

vLLM 官方转发 SemiAnalysis 的分析文章，重点介绍其 TPU 生态工作。其中 Kimi K3 的 megakernel 和 vLLM TorchTPU 支撑了 AgentX 上 GLM-5.2、Qwen3.5 397B 和 Kimi K3 三个模型的推理成绩。vLLM 同时感谢了 @inferact 和 Google Cloud 在 TPU 性能优化上的推动。

原文 · vLLM

Thanks to @SemiAnalysis_ for highlighting the vLLM ecosystem’s work on TPU, in particular the Kimi K3 megakernel and vLLM TorchTPU powering AgentX results across GLM-5.2, Qwen3.5 397B, and Kimi K3.

Shoutout to @inferact and @googlecloud for pushing vLLM performance on TPU. The @SemiAnalysis_ write-up below is a great read 👇