Kimi K3.1 Pro 获 TPU v7x day-0 支持
Kimi K3.1 Pro 发布当天就能在 Google TPU v7x 上跑了,用 vllm-torchtpu 即可部署,不依赖 NVIDIA GPU 的朋友可以看看。
Moonshot 的 Kimi K3.1 Pro 发布当天即可在 Google TPU v7x 上运行,依赖 vllm-torchtpu 提供支持。Google 与 Inference 团队继续合作完成这次适配。发布日即可用非 GPU 硬件跑最新开源模型,说明 TPU 推理生态的兼容速度在加快。
Kimi K3.1 Pro on TPUs, with day-0 support ⚡
Run it on TPU v7x with vllm-torchtpu. Great to see the continued collaboration between the @Google and @inferact teams! 🤝
Read more 👇 https://t.co/ETuwuefmZv