事件专题 ·单一信源

vLLM v0.34.0 发布:10 个新模型与 KV cache 扩展机制默认开启

开源推理框架 vLLM 发布 v0.34.0 版本,包含 1,061 次提交、412 位贡献者参与,新增对 10 个模型的支持。架构方面,可扩展 KV cache 机制在此版本中默认启用,同时 Model Runner V2 成为唯一保留的 GPU 运行器,旧运行路径被移除。性能上,官方公布的基准显示 Step5 NVFP4 decode 在 4× GB200 GPU 环境下最高提速 1.95 倍。对于使用 vLLM 部署大模型推理服务的团队,升级前需查阅官方给出的升级注意事项,因为运行器架构的变化可能影响现有部署配置。

当前结论

vLLM 推理引擎又更新了,这次一次加了 10 个新模型,KV cache 改成默认开启,GB200 上跑 Step5 的 decode 最快快了 1.95 倍。自己搭推理服务的兄弟建议看看升级说明,旧运行路径没了,升级前先检查配置。

2 个信源71° AI 热度最后更新 2026/11/18 17:15:22

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。