vLLM 等团队推进后,Google TPU 推理能力被重新审视
vLLM 把 TPU 推理跑通了,Google 自家芯片可能真要卖给外面的公司了。
Xianbao QIAN 发帖指出,随着 vLLM 项目和 Inferact 团队在 Google TPU 上的适配工作推进,TPU 的推理能力已经到了值得认真对待的程度。vLLM 是目前广泛使用的开源推理框架,对 TPU 的支持使其可以替代 GPU 跑推理负载。他同时建议 Google 认真考虑对外出售 TPU 硬件。
We need to take Google TPU more seriously now as proven by the hard work from @vllm_project @inferact teams.
@Google should seriously be thinking about selling TPUs. https://t.co/RncRExsNlB