NVIDIA 用全栈 NIM 优化让 Nemotron 3 Ultra 系统吞吐提升 180%，服务用户数翻倍

NVIDIA 在 4×B200 系统上通过 NIM 微服务对推理栈做全栈协同优化，将 Nemotron 3 Ultra 的系统吞吐从 718 tok/s 提升到 1,997 tok/s；在同等交互体验（每用户 50 token/s）下，同一套硬件能服务约 2.78 倍的并发用户。NVIDIA 公布的 2.5x 是“固定延迟 SLO 下最大化吞吐”的测量，前提条件非常具体：硬件 4× NVIDIA B200，模型 Nemotron 3 Ultra 550B-A55B，负载典型 agentic 场景，软件 NIM 2.0.12。