模型72°

谷歌TPU跑Kimi比英伟达GPU快57%,底层用的是DeepSeek推理框架

谷歌TPU跑Kimi比英伟达GPU快57%!用的还是DeepSeek推理框架

精选理由

vLLM那帮人创业后干的活:把Kimi K2塞进谷歌TPU,速度比英伟达GPU还快57%,框架还是DeepSeek开源的,搞推理的可以看看细节。

vLLM团队成员创立的创业公司Noop Labs展示了在谷歌TPU上运行Kimi K2的效果,吞吐量比英伟达GPU高出57%。

图片来源 · 量子位
正文

推理框架选用了DeepSeek开源的vLLM方案,适配TPU后无需改动模型代码。这意味着国产开源模型可以在谷歌自研芯片上高效运行,推理成本路径多了一个选择。

原文 · 量子位

谷歌TPU跑Kimi比英伟达GPU快57%!用的还是DeepSeek推理框架

vLLM人马创业公司团队出品

产业坐标与信源核验

本条情报归属 AITOP「模型」核心栏目,重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Kimi K2、Google TPU、vLLM、DeepSeek,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「量子位」(@听雨),经 AITOP 多维评分管线结构化提炼。