英伟达优化 Kimi K3 推理速度，提升 1.68 倍
英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
英伟达把 Kimi K3 的推理速度干到 423 tok/s，比原来快 1.68 倍，跑 vLLM 的朋友可以关注这次上游优化。
调研机构 SemiAnalysis 10 月 18 日发文称，英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数的 Kimi K3 模型达到 423 tok/s/user 的推理速度，在相同硬件 GB300 NVL72 上性能提升 1.68 倍。该优化由英伟达 CentML 工程师 Benjamin 完成，采用 Cute DSL 编写解码专用内核，通过大规模 Megakernel 融合实现。这个 Megakernel 包含 1.2 万行代码。英伟达还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化。
英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
IT之家 10 月 18 日消息，调研机构 SemiAnalysis 今日发文称，英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user（每用户每秒每 Token）的推理速度， 对比相同硬件（GB300 NVL72）性能提升 1.68 倍 。 据介绍，该项优化由英伟达 CentML 工程师 Benjamin 完成。它通过大规模 Megakernel 融合，使用 Cute DSL 编写英伟达新推出的解码专用内核。 该 Megakernel 包含 1.2 万行代码 ，代表着 AI 辅助生成高级计算内核的未来方向。英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍。 IT之家注意到，英伟达除此之外，还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化。
