产品

vLLM 等团队推进后,Google TPU 推理能力被重新审视

精选理由

vLLM 把 TPU 推理跑通了,Google 自家芯片可能真要卖给外面的公司了。

Xianbao QIAN 发帖指出,随着 vLLM 项目和 Inferact 团队在 Google TPU 上的适配工作推进,TPU 的推理能力已经到了值得认真对待的程度。vLLM 是目前广泛使用的开源推理框架,对 TPU 的支持使其可以替代 GPU 跑推理负载。他同时建议 Google 认真考虑对外出售 TPU 硬件。

原文 · Xianbao Qian

We need to take Google TPU more seriously now as proven by the hard work from @vllm_project @inferact teams.

@Google should seriously be thinking about selling TPUs. https://t.co/RncRExsNlB