#KV-Cache

跑长程智能体的开发者看看：KV-Cache 复用会导致同一提示词输出不同，论文给了文档对齐重算方案，波动从 69% 降到 26%，还保住 5.7 倍提速。

这论文把 KV-cache 压缩变成了能签合同的事：给定风险目标，自动算出能砍多少缓存，砍不了就回退全 KV。做长文本推理部署的可以看看。

一篇论文证明了随机化KV-Cache驱逐能提供误差证书，覆盖率达97%。如果你关心推理加速中的精度损失量化，这方法很实用。