实测对比:RoCE 与 Quantum InfiniBand 推理性能差距明显
Lambda 在 2 台 HGX B200 上跑了组对照实验,其他条件全一样,只换网络:RoCE 比 InfiniBand 吞吐低 70%,首 token 慢 2.5 倍。正在搭推理集群的工程师选网络方案前应该看看这组数据,省得踩坑。
Lambda 用 2 个 HGX B200 节点部署同一模型 nvidia/GLM-5.2-NVFP4,在约 250 并发用户下测试:RoCE 方案的吞吐量比 NVIDIA Quantum InfiniBand 低约 70%,首 token 延迟慢 2.5 倍。
测试控制了其余变量:两边都跑 SGLang TP16/DP16/EP16 配置,基准统一用 AIPerf(8192 输入 / 1024 输出 token),唯一的变量是互联网络。但作者也指出互联并非唯一影响因素,未完全展开其他变量。
这组数字对正在选型大规模推理集群的团队有直接参考意义:以太网 RoCE 虽然成本更低,但在高并发下与 InfiniBand 的性能差距可能远超预期。企业在规划 B200 这类多节点推理部署时,需要把互联方案的 throughput 和 TTFT 差距计入总成本评估。
At roughly 250 concurrent users on 2x HGX B200 nodes, a RoCE deployment delivered about 70% lower throughput and 2.5x slower time to first token than NVIDIA Quantum InfiniBand.
Same model (nvidia/GLM-5.2-NVFP4), same serving framework (SGLang TP16/DP16/EP16), same benchmark (AIPerf, 8192 in / 1024 out tokens). The interconnect was the variable, but not the only one.
https://t.co/0YDhLXFLCO
本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:InfiniBand、RoCE、SGLang、HGX B200,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Lambda」(@LambdaAPI),经 AITOP 多维评分管线结构化提炼。