事件专题 ·多源确认

vLLM v0.33.0 发布:新增 4 个模型支持与 GB300 解码优化

vLLM v0.33.0 共包含 927 次提交,由 389 位贡献者完成,其中 122 位是首次参与。新版本加入 Reflection Beam-1.0、Step-5 Preview、Nemotron Parse 3.5、MiniCPM-OCR 1.0 四个模型的支持。推理引擎升级到 PyTorch 2.14,提供 CUDA 13.0 专用 wheel 包。投机解码方面新增 XPress refiner 与 FLy lossy verify(1.04–1.31 倍加速),DSpark 在 GB300 上从 1373 提升到 3390 tok/s。NVIDIA 解码路径实现 1.5–2 倍延迟降低,TTFT 下降 39–48%,同时 ROCm 10.0 成为默认配置。

当前结论

vLLM 又发新版了,这版支持 Step-5 Preview 等 4 个新模型,GB300 上解码快了最多 2 倍,自建推理服务的可以升级看看。

11 个信源71° AI 热度最后更新 2026/11/3 23:53:16

证据链

11 个信源
相关来源 3Artificial Analysis
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。