vLLM 团队实现 Kimi K3 在 NVIDIA GB300 NVL72 上 842 tokens/s 解码
vLLM 和 NVIDIA 把 Kimi K3 推理速度干到了单批 842 tokens/s，还公开了完整 kernel 实现和评测细节，做推理优化的可以细看。
vLLM 项目与 NVIDIA 合作，将 Kimi K3 的解码阶段在 NVIDIA GB300 NVL72 上做到 batch 1 时 842 tokens/s。核心是用统一的 CuTe DSL 解码路径把注意力、MoE 和通信融合在一起，在多个测试配置下解码吞吐提升 1.5–2 倍，在 SemiAnalysis AgentX 工作负载上 P90 交互性最高提升 1.8 倍。文章还公开了 kernel 实现、正确性与长上下文评测，以及跨 batch 大小、上下文长度和并行配置的基准扫描结果。
Kimi K3 decode on NVIDIA GB300 NVL72: 842 tokens/s at batch 1 with DSpark 🚀
A unified CuTe DSL decode path fuses attention, MoE and communication, delivering 1.5–2× higher decode throughput in several tested configurations and up to 1.8× higher P90 interactivity on the @SemiAnalysis_ AgentX workload.
The post covers the kernel work, the correctness and long-context evals behind it, and benchmark sweeps across batch sizes, context lengths and parallelism configurations.
Full write-up: https://t.co/4JbC73yX76
Great work and collaboration with the @NVIDIA team!
