inferact 开源 Kimi K3 TPU megakernel，单核跑出 709 tokens/s
Kimi K3 在 TPU 上跑到 709 tokens/s，比 GB200 还快，92 个 MoE 层塞进一个 Pallas kernel，做法挺巧，做推理的可以看看。
inferact 团队为 Kimi K3 开源了一个 TPU megakernel，推理速度达到 709 tokens/s，高于 GB200 上的 450 tokens/s。
K3 全部 92 个 MoE 层都在单个 Pallas kernel 中运行。该实现采用跨层边界的权重预取，让一层的权重传输与上一层的计算重叠进行。
代码仓库和详细写文已发布。
The @inferact team open sourced a TPU megakernel for Kimi K3 achieving 709 tokens/s, against 450 tokens/s on GB200.
All 92 of K3's MoE layers run in a single Pallas kernel, with weight prefetching that reaches across layer boundaries so transfers for one layer overlap with computation in the previous one.
Shoutout to the team! Writeup and repo link in the thread.
本条情报归属 AITOP「模型」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：Kimi K3、TPU、Pallas、MoE，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「vLLM」（@vllm_project），经 AITOP 多维评分管线结构化提炼。截至目前，全网已有 7 家独立信源对该事件进行交叉印证与跟进报道（含 Thomas Wolf、eric zakariasson、IT之家 等），属于近期高关注度行业信号。
