NVIDIA 发布 GLM-5.3 NVFP4 本地部署指南:两台 DGX Station 跑 vLLM
想让本地大模型跑得又快又稳的朋友看这个:NVIDIA 亲手写的 GLM-5.3 NVFP4 部署教程,两张 GB300 用 vLLM 张量并行跑全量权重,还开了 MTP 推测解码和 FP8 KV cache 这些提速开关。自己搭推理服务或者想对比 vLLM 和其他推理框架差异的工程师直接照抄就行。
NVIDIA 发布了一段视频演示和配套部署指南,讲解如何用 vLLM 在两台 DGX Station 上本地运行 GLM-5.
3 的 NVFP4 量化版本。整套配置将全部模型权重保留在显存中,通过两块 GB300 GPU 的张量并行来对外提供单个 OpenAI 兼容 API。
指南还启用了 MTP 推测解码、FP8 KV cache 和前缀缓存三项优化,以提升推理吞吐和响应速度。视频与文档均已公开,开发者可按步骤复现这套双机部署方案。
.@NVIDIA put together a video walkthrough and deployment guide for running GLM-5.3 NVFP4 locally on two DGX Stations with vLLM.
The setup keeps all model weights in GPU memory, using tensor parallelism across two GB300 GPUs to serve requests through a single OpenAI-compatible API. It also enables MTP speculative decoding, FP8 KV cache, and prefix caching.
Watch the walkthrough: https://t.co/Nacp2PHiC4
Get the deployment guide: https://t.co/CPnA8tK9Pw
本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:GLM-5.3、NVIDIA、vLLM、DGX Station,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「vLLM」(@vllm_project),经 AITOP 多维评分管线结构化提炼。