KV-cache

concept · 首次出现 2026-05-22 · 最近出现 2026-11-20 · 累计提及 204

综述

KV-cache(键值缓存)是大语言模型推理时保存注意力机制中间结果的显存区域,决定了长上下文和多并发请求能否高效运行。随着模型上下文长度和智能体负载激增,KV-cache 的显存占用与传输开销已成为推理成本的主要瓶颈,围绕它的压缩、卸载与跨节点调度是当前推理优化最活跃的方向。

KV-cache 近期进展

  • Latent Compaction:用测试时训练压缩 KV cache,32 倍压缩下 RULER 准确率达 96.7%:这项 arXiv 工作把测试时训练用于缓存压缩,在 32 倍压缩率下仍保持 96.7% 的 RULER 准确率,说明激进压缩长上下文缓存在精度上已可行。
  • vLLM 引入 push-based NIXL 连接器,分离式推理 TTFT 提升最高 3 倍:vLLM 的推送式 NIXL 连接器针对 Prefill/Decode 分离架构优化 KV 传输,首 token 延迟最高降低 3 倍,推动分离式推理落地。
  • Huawei 公布 Stellar AI Fabric 存算融合网络设计,缓解 KV Cache 瓶颈:华为提出存算融合网络架构,把 KV 缓存的存储与搬运纳入网络层设计,试图从硬件层面缓解长上下文推理瓶颈。
  • i14 在 AWS Trainium2 上训练并部署线性注意力模型 Laplace 3B:用原生 PyTorch 在 Trainium2 上跑通线性注意力模型,代表了一条“绕过”传统 KV-cache 的架构路线。
  • 当前焦点与观察点

    当前围绕 KV-cache 的讨论集中在三条路线:其一是压缩,包括量化与上述测试时训练类方法,追求在显存受限下保住精度;其二是迁移与调度,vLLM 的 NIXL 连接器、SenseTime 公布的 Prefill/Decode 分离集群架构,都在解决缓存如何在 prefill 与 decode 节点间高效流动的问题;其三是架构替代,线性注意力等模型从原理上减少甚至免除缓存依赖。

    另一个新变量是智能体负载。Agent 类流量会产生大量重复前缀和长会话,社区已有在 vLLM 上做前缀缓存优化的实践,也有研究提出让智能体对 KV 缓存进行自管理、成本再降 7.1% 的方法。此外,vLLM 在 PyTorchCon 2026 上展示的缓存与多硬件内核优化,以及围绕 CPU 与共享存储选择卸载方案的讨论,都表明生态工具正在快速细化。

    值得观察的是:压缩带来的精度损失如何在生产环境度量、分离式架构的通用性,以及缓存管理是否会逐渐下沉为推理基础设施的标准组件。

    相关报道

    10 条在档