产品精选71°

vLLM v0.34.0 发布:10 个新模型与 KV cache 扩展机制默认开启

精选理由

vLLM 推理引擎又更新了,这次一次加了 10 个新模型,KV cache 改成默认开启,GB200 上跑 Step5 的 decode 最快快了 1.95 倍。自己搭推理服务的兄弟建议看看升级说明,旧运行路径没了,升级前先检查配置。

开源推理框架 vLLM 发布 v0.34.

正文

0 版本,包含 1,061 次提交、412 位贡献者参与,新增对 10 个模型的支持。架构方面,可扩展 KV cache 机制在此版本中默认启用,同时 Model Runner V2 成为唯一保留的 GPU 运行器,旧运行路径被移除。

性能上,官方公布的基准显示 Step5 NVFP4 decode 在 4× GB200 GPU 环境下最高提速 1.95 倍。

对于使用 vLLM 部署大模型推理服务的团队,升级前需查阅官方给出的升级注意事项,因为运行器架构的变化可能影响现有部署配置。

原文 · vLLM

vLLM v0.34.0 is live! 🚀 1,061 commits · 412 contributors 🤖 10 new models 🗄️ Extensible KV cache on by default 🏃 Model Runner V2 is now the only GPU runner ⚡ Up to 1.95× faster Step5 NVFP4 decode on 4× GB200

⚠️ Upgrade notes https://t.co/oDO3owqDZa https://t.co/1QySAluJFz

产业坐标与信源核验

本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:vLLM、GB200、KV cache、推理引擎,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「vLLM」(@vllm_project),经 AITOP 多维评分管线结构化提炼。