NVIDIA Dynamo

general · 首次出现 2026-05-22 · 最近出现 2026-11-19 · 累计提及 16

综述

NVIDIA Dynamo 是英伟达推出的开源分布式 AI 推理服务框架,负责在大规模 GPU 集群上对大模型推理请求进行调度、路由与资源编排,被视为英伟达 AI 推理软件栈中的核心组件。随着智能体(Agentic AI)和多模态应用对推理吞吐与稳定性要求不断提高,该框架的定位正从单纯的推理服务层,扩展为连接 Kubernetes 集群基础设施与推理引擎(如 SGLang、vLLM)之间的运行时中枢。

NVIDIA Dynamo 的近期进展

近期围绕 NVIDIA Dynamo 的动态主要集中在部署效率、智能体场景适配和大规模分布式落地三个方面。在部署效率上,NVIDIA 推出了官方部署配方(deployment recipes),帮助韩国开源模型的生产环境快速上线,同时发布了针对冷启动的优化方案;与之配合的 ModelExpress 方案也将 DeepSeek-V4 Pro 的启动时间压缩到 2 分钟以内(NVIDIA ModelExpress将DeepSeek-V4 Pro启动时间降至2分钟内)。

在智能体工作负载方面,NVIDIA Dynamo 针对推理过程中出现的工具调用漂移问题做了专项修复,并支持 H-Company 面向 Computer Use 智能体的 VLM 推理服务优化(H-Company 用 NVIDIA Dynamo 优化面向 Computer Use 智能体的 VLM 推理服务)。这类问题在长上下文、多轮工具调用的智能体场景中尤为突出,也是当前推理服务框架普遍面临的挑战。

在规模化部署上,Dynamo 联合 Gcore 与 Orange 实现了跨地域的大规模分布式 AI 推理(NVIDIA Dynamo 联合 Gcore 和 Orange 实现大规模分布式 AI 推理)。电信运营商与 CDN 厂商的加入,说明分布式推理需求已从超大规模云厂商延伸到面向终端用户的边缘侧。

当前焦点与观察点

生态整合是现阶段最受关注的方向。NVIDIA AI Cluster Runtime 将 NVIDIA Dynamo 与 Kubernetes GPU 基础设施打通(NVIDIA AI Cluster Runtime brings together NVIDIA Dynamo and the infrastructure...),AWS 也在 Amazon EKS 和 SageMaker HyperPod EKS 上支持基于 Nemotron 模型的智能体推理(Accelerate agentic AI with NVIDIA Nemotron models on Amazon EKS and SageMaker HyperPod EKS)。这意味着 Dynamo 正在成为云上推理服务的默认编排层之一。

与推理引擎的性能边界同样值得观察。SGLang 在 GB300 NVL72 上达到每 GPU 超 12K tok/s 的记录(SGLang在GB300 NVL72上创纪录,每GPU超12K tok/s),而学术界也在探索 Encode 感知的分离式推理服务等更细粒度的调度策略(EAServe 论文提出面向多模态 LLM 的 Encode 感知分离式推理服务)。整体来看,Dynamo 的竞争壁垒不在于单点推理性能,而在于调度策略、多引擎适配与集群运行时的整合深度;其后续演进值得关注的焦点是分离式预填充/解码调度在真实智能体负载中的收益,以及对非 NVIDIA 硬件环境的开放程度。

相关报道

10 条在档