vLLM v0.33.0 发布：新增 4 个模型支持与 GB300 解码优化
vLLM 又发新版了，这版支持 Step-5 Preview 等 4 个新模型，GB300 上解码快了最多 2 倍，自建推理服务的可以升级看看。
vLLM v0.33.0 共包含 927 次提交，由 389 位贡献者完成，其中 122 位是首次参与。新版本加入 Reflection Beam-1.0、Step-5 Preview、Nemotron Parse 3.5、MiniCPM-OCR 1.0 四个模型的支持。推理引擎升级到 PyTorch 2.14，提供 CUDA 13.0 专用 wheel 包。投机解码方面新增 XPress refiner 与 FLy lossy verify（1.04–1.31 倍加速），DSpark 在 GB300 上从 1373 提升到 3390 tok/s。NVIDIA 解码路径实现 1.5–2 倍延迟降低，TTFT 下降 39–48%，同时 ROCm 10.0 成为默认配置。
vLLM v0.33.0 is out! 🚀
927 commits · 389 contributors · 122 first-timers
🤖 New models: Reflection Beam-1.0, Step-5 Preview, Nemotron Parse 3.5, MiniCPM-OCR 1.0 🔥 PyTorch 2.14 — CUDA 13.0-only wheels, libtorch ABI-stable 🎲 Spec decoding: XPress refiner, FLy lossy verify (1.04–1.31x), DSpark 1373→3390 tok/s on GB300 ⚡ NVIDIA decode: 1.5–2x latency decode on GB300, FA4 sparse MLA, 39–48% lower TTFT 🚀 New AWS EFA image + shorter vllm/vllm name 🐧 ROCm 10.0 default, MonoKernel 2.32x P50
Full notes ➡️ https://t.co/nB301yri6u
