vLLM 复现 DeepSeek 部署性能：decode 差距缩至 6% 以内
vLLM 用 Wide-EP 和 EPLB 基本追平了 DeepSeek 官方推理栈的性能，decode 差距 6% 以内，还有单卡 1M tokens/s 的数据，自己搭推理服务的可以看看。
vLLM 团队宣布借助 Wide-EP 和 EPLB，在 DeepSeek 的 decode 配置下（DeepSeek-V4.1-Flash、131K 上下文、nextn=3），vLLM 在 GB200 上的吞吐量与 DeepInfer 公布结果的差距控制在 6% 以内（batch size 8–256）。在 AgentX 工作负载上，vLLM 在 GB300 上将 Pareto 前沿进一步推进，达到最高 1M tokens/s/GPU，按 DeepSeek 非高峰 API 定价计算可产生 $38.96/gpu/hr 的收入，P90 TPS 为 196。vLLM 还为 DeepSeek-V4.1-Flash 扩展了低延迟内核支持，单用户在 AgentX 上最高达 826 TPS。
🚨🚨🚨 vLLM is all you need to reproduce DeepSeek’s performance.
With Wide-EP and EPLB, vLLM can match DeepInfer’s decode performance within 6% and generate $39/gpu/hr in revenue at DeepSeek’s off-peak pricing, at 200 P90 TPS on the AgentX workload.
Specifically: • Under DeepSeek’s decode configuration (DeepSeek-V4.1-Flash, 131K context, nextn=3), vLLM on GB200 achieves throughput within 6% of DeepInfer’s published results across batch sizes 8–256. • On AgentX, vLLM pushes the Pareto frontier further on GB300, reaching up to 1M tokens/s/GPU and generating $38.96/gpu/hr in revenue at 196 P90 TPS, based on DeepSeek’s off-peak API pricing. • Also, vLLM extended low-latency kernel support for DeepSeek-V4.1-Flash, achieving up to 826 TPS per user on AgentX.
