模型76°

DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上的首批推理结果公布

精选理由

vLLM 官方放出了 Vera Rubin NVL72 上跑 DeepSeek V4.1 Flash 的首批数据,同样跑 Dynamo + vLLM,单芯片吞吐比 GB300 高 63 到 93 倍。做推理部署和算力采购的工程师应该看看这组对比。

vLLM 项目发布了 DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上的首批推理测试结果,运行环境为 Dynamo + vLLM,基准来自 SemiAnalysis 的 AgentX。与 GB300 NVL72 相比,InferenceX 性能标尺显示:在每用户 400 tok/s 的速率下,单芯片总 token 吞吐量提升 63.4 倍;在 600 tok/s/用户速率下提升 93.3 倍。

正文

这套结果的关键在于软件栈配合:NVIDIA Dynamo 负责推理服务调度,vLLM 承担引擎执行,两者组合在下一代 Rubin 平台上跑出了官方宣称的对比数据。测试选择了 400 和 600 tok/s 两个用户侧速率档位,这是智能体工作负载中常用的交互速度参考点,吞吐倍数按单芯片归一化计算。

对部署方来说,这组数字来自厂商生态链(NVIDIA + vLLM 项目 + SemiAnalysis)的公开测试,可作为评估下一代 NVL72 集群用于高并发智能体推理的参考。GB300 当前仍是主流旗舰部署平台,Vera Rubin 属于尚未大规模出货的下一代硬件,实际采购决策还需等待更多第三方复现数据。

原文 · vLLM

The only thing faster than GB300 Dynamo + vLLM is Vera Rubin Dynamo + vLLM 🏎️💨.

The first DeepSeek V4.1 Flash results on @NVIDIA Vera Rubin NVL72 are here, powered by Dynamo + vLLM on @SemiAnalysis_'s AgentX benchmark.

Compared with GB300 NVL72 running Dynamo + vLLM, InferenceX's perf ruler shows: • 63.4× total token throughput per chip at 400 tok/s/user • 93.3× at 600 tok/s/user

产业坐标与信源核验

本条情报归属 AITOP「模型」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:DeepSeek、vLLM、Vera Rubin、GB300,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「vLLM」(@vllm_project),经 AITOP 多维评分管线结构化提炼。