#KV cache
一个 3B 的线性注意力模型，每条序列状态固定 29.5 MB，不随上下文膨胀，还全程跑在 Trainium2 上，长上下文推理的内存账很好算。
vLLM 的 Simon Mo 在 PyTorchCon 上讲了 KV cache 和内核优化，TPI、AMD、NVIDIA 卡都能跑得更快，搞推理部署的可以看看。
AWS 给 vLLM 的分离式推理换了种 KV cache 传输方式，首 token 延迟最高快 3 倍，做推理部署的可以看看怎么配。
Percy Liang 把 KV cache、GQA、投机采样这些推理优化串成一条数学主线，讲义公式全用 sympy 可验证，想搞懂推理为啥慢的必看。
清华 THUNLP 开源了个 KV cache 压缩方法，压到 1/32 还能在 RULER 上保持 96.7% 准确率，比 KVZip+ 的 40% 高出一大截，长文档检索场景可以直接试。
如果你的 Agent 跑得慢、GPU 显存被 KV cache 吃满，这篇 NVIDIA Dynamo 的博客讲了 router 加 KV-cache manager 怎么复用上下文，值得照着调优。
37FlowAI 拆解了 DeepSeek-V4.1-Flash 在 vLLM 上跑 agent 的优化细节，SWA bounded replay 能明显降低 TTFT，搞部署的可以看看。
三条推文都叫 looped transformer 但完全是三种方案，选错能烧掉一周训练，这篇用 Nanbeige 4.2 实测数据帮你分清。
一篇新论文 CompKV，重新设计了稀疏注意力里的 token 选择逻辑，长上下文推理自注意力最高快 6.85 倍，做推理优化的可以看看。
DeepSeek 新出的 V4.1 Flash 模型，性能不错，和 GLM-5.3 差不多，关键是内存消耗特别低，适合做 agentic 任务，价格也便宜很多。