#KV缓存

给做大模型推理服务的同学：GLM-5.3 上远程 KV 缓存反而把 p99 拖到 83 秒的踩坑实录，还给了带宽阈值公式和修复方案。

一张卡塞不下多个模型就只能换入换出？JointServe 边生成边预取权重、护住 KV，SLO 达标率从 2.8% 拉到 76.8%。

让两个不同大小的模型直接共享 KV 缓存、不用再互发文本，免训练就能提准 8.6 个百分点、首 token 快 12 倍，做多智能体的可以看看。

长上下文缓存太吃内存的话看看这篇，KV² 不用重跑整个 prompt，预算压到 2% 还能比基线高 40 多分。

长链推理时 KV 缓存会爆炸，这篇提出用增量 SVD 压到 4-5 倍还能保住准确率，比删 token 的老办法稳，做推理部署的可以看看。

这篇论文展示了如何用高带宽闪存解决大模型内存瓶颈，能显著提升性能并延长硬件寿命。

WUSH-KV用数据自适应变换降低KV缓存量化误差，2-bit性能超越OSCAR，适合长上下文推理场景。

一帮研究者做了个叫 UniCache 的免训练压缩框架，多模态模型缓存能压 5 倍，长上下文吞吐还能快 1.78 倍，做部署的可以看看。

研究者测了五个开源模型，发现 Mistral 7B 和 Muse Glimmer 能从已滑出窗口的缓存里找回信息，做长上下文推理的可以看看。

vLLM 和 LMCache 里能直接用的 KV 缓存调度优化，快速层容量从 100 GiB 砍到 25 GiB 吞吐基本不掉，还把 p95 首 token 时间降了 48%。

做智能体 RL 训练的朋友可以看看，KV 缓存不清空改成流式传递，训练直接快 2.6 到 5 倍，还能当循环记忆用，即插即用。

arXiv 上一篇讲 KV 缓存的新论文，用本地历史替换当前 token 分支，126M 模型上困惑度降了约 1.4%，做推理优化的人可以看看。

做长上下文推理的可以看看这篇：ARM 用可微路由记忆替代硬淘汰 token，缓存不再丢关键信息，延迟还可控。

KV缓存驱逐会掉精度，KV-Rescue用个小模型当辅助，能救回87%的损失，还省43%的生成量，跑长推理的可以看看。

做LLM后训练的朋友可以看看，MISA-T把混合rollout调度做得更精细，吞吐提升明显，而且不牺牲任务效果。

想给RAG省算力又不想掉精度？CoinRAG把检索结果拆成小碎块做缓存复用，LongBench上F1平均提了5.3%，值得一看。

看这个，论文解决了视频生成模型长视频记忆丢失的问题，不重新训练就能把一致性拉高15个点，做视频生成的人应该关心。

同系列模型切换总得重新预填充？这篇用线性映射传KV缓存，能省2.7到25倍时间，四对组合还保住九成以上准确率。

看完这篇论文，你就明白怎么让 LLM 在有多层记忆时不再反复重算——InferScale 直接把 KV 缓存存好，做到检索量再大 TTFT 基本不变。

论文用Qwen3-8B做实验，发现KV缓存里的事件行能独立保存计算视图，主动构造回答无关事件能让恢复率从6%跳到51%，对搞Agent记忆的人很有参考价值。

这篇论文提出HiKV，用两阶段KV缓存压缩加专用硬件，7.95倍加速、90%省电，精度几乎不掉。做长上下文LLM推理加速的可以看看。

这篇论文解决了长上下文下投机解码的瓶颈，用滑动窗口草稿省掉99%的KV读取，实测速度提升近三成，而且不损失精度。搞大模型推理优化的值得看。

这篇论文展示了PagedWeight方法，能在MoE模型服务里动态量化权重，省内存还保准，比之前的方法效果明显更好。