#KV缓存

长上下文推理，内存传输是瓶颈。新方案SAC用CXL按需取KV缓存，比RDMA吞吐量翻倍、延迟降到十分之一，做稀疏推理的值得一看。

Dan Fu讲KV缓存和Parcae新缩放定律

官方账号Together AI@togethercompute原文

长上下文推理的内存瓶颈终于有了一个兼顾质量与速度的解法，做LLM推理优化或长时智能体的开发者值得关注，LCLM的压缩方案可以直接用于生产环境。

做LLM Agent服务部署和优化的团队，终于有了一个低成本、高精度的模拟工具来测试调度和缓存策略，不用再烧GPU时间试错，建议直接看论文细节。

做LLM压缩和部署的团队值得关注——EinSort用排序技巧解决了张量化的核心痛点，直接提升压缩效率，建议在模型优化流程中试试。

长上下文推理的瓶颈终于有了系统级解法——CLSA通过共享路由索引同时加速预填充、缓存和解码，做LLM推理优化的团队值得看看这个架构思路。

推理模型的长输出让内存和计算成本飙升，VaSE用随机淘汰策略在4倍压缩下保持高准确率，做推理模型优化的开发者可以直接参考论文实现。

做大规模LLM推理部署的团队，NetKV直接解决了TTFT瓶颈——网络延迟被正式纳入调度决策，实测效果显著且零侵入，值得在现有集群上评估。

视频生成团队终于有了解决长序列KV缓存内存爆炸的方案——VideoMLA将内存减少92.7%且不牺牲质量，做长视频扩散的开发者可以直接在B200上试，吞吐量提升1.23倍。

多智能体系统开发者终于有了保护KV缓存中隐式敏感信息的方案——LCGuard在不牺牲任务性能的前提下阻断信息重建攻击，做分布式AI协作的团队值得关注。

这篇论文戳中了推理模型部署的核心痛点——从计算瓶颈转向容量瓶颈，做 LLM 推理优化的工程师和架构师值得细读，能帮你避开常见的并行策略陷阱。

流式推理场景（如实时数据监控、金融交易、对话系统）的开发者终于有了降低延迟的可行方案——把预填充移出关键路径，查询延迟与上下文大小解耦。做高吞吐低延迟推理服务的团队值得关注这个新范式。

KV-Fold 用简单的左折叠思路解决了长上下文推理的内存和精度痛点，做 LLM 推理优化或长文档处理的团队可以直接在现有模型上尝试，无需额外训练。