vLLM 针对 Vera Rubin NVL72 优化 DeepSeek-V4.1-Flash，吞吐达 GB300 的 58 倍
vLLM 在新一代 NVIDIA 机架上把 DeepSeek-V4.1-Flash 跑到了每 GPU 170 万 tokens/s，比上一代 GB300 快 58 倍。自己部署 DeepSeek 的团队可以关注这套优化配置，硬件升级后的推理成本账值得重算一遍。
vLLM 团队宣布在 NVIDIA Vera Rubin NVL72 平台上优化 DeepSeek-V4.1-Flash，在 SemiAnalysis AgentX 基准上达到 1.7 million tokens/s/GPU 的吞吐和 387 tokens/s/user 的 P90 速度，为 GB300 NVL72 同一指标的 58 倍。
具体数据覆盖整条吞吐-延迟曲线：峰值吞吐 2.52 million tokens/s/GPU，是 GB300 的 2.7 倍；单并发会话（TP 模式）下可达 1,810 tokens/s。优化点在于针对新一代 NVL72 硬件的推理调度与并行策略调优，使高并发场景下单个用户的响应速度不再随吞吐提升而明显下降。
对部署方而言，这类开源推理栈针对新硬件的适配直接决定了 DeepSeek 系列模型自托管服务的单位成本，与美国主流闭源 API 服务在价格上的差距可能进一步拉开。
We optimized DeepSeek-V4.1-Flash on vLLM for Vera Rubin NVL72 and reached 58× the throughput of GB300 NVL72 at 1.7 million tokens/s/GPU and 387 tokens/s/user on SemiAnalysis AgentX.
Across the curve: 🔹 2.52 million tokens/s/GPU at peak throughput (2.7× GB300) 🔹 1.7 million tokens/s/GPU at P90 387 tokens/s/user (58× GB300) 🔹 1,810 tokens/s at one concurrent session with TP
1/4
本条情报归属 AITOP「模型」核心栏目，重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：DeepSeek、vLLM、Vera Rubin、开源模型，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「vLLM」（@vllm_project），经 AITOP 多维评分管线结构化提炼。截至目前，全网已有 11 家独立信源对该事件进行交叉印证与跟进报道（含 IT之家、Jim Fan、a16z 等），属于近期高关注度行业信号。
