vLLM 团队实现 Kimi K3 在 NVIDIA GB300 NVL72 上 842 tokens/s 解码
vLLM 和 NVIDIA 把 Kimi K3 推理速度干到了单批 842 tokens/s,还公开了完整 kernel 实现和评测细节,做推理优化的可以细看。
vLLM 和 NVIDIA 把 Kimi K3 推理速度干到了单批 842 tokens/s,还公开了完整 kernel 实现和评测细节,做推理优化的可以细看。
NVIDIA 新一代 Vera Rubin NVL72 的跑分出来了,跑 DeepSeek V4 Pro 每兆瓦吞吐量是上一代的 5.7 倍,还刷出 906 tok/s 的单用户最快速度。
哥大商学院算了笔账:7700万块 GPU 要赚回 3.725 万亿,摊下来每 GPU 小时 5.5 美元,比现在租价还低,基建账能算平。