TraceKV:免训练低秩 KV 压缩,5.64 倍压缩保推理精度
推理型 VLM 的 KV 缓存太吃显存,这篇论文给出免训练方案:在线校准加敏感度 SVD,5.64 倍压缩基本不掉点,解码还能快 1.83 倍。做多模态部署、被长推理链显存困扰的团队值得看,代码说会开源。
推理型 VLM 的 KV 缓存太吃显存,这篇论文给出免训练方案:在线校准加敏感度 SVD,5.64 倍压缩基本不掉点,解码还能快 1.83 倍。做多模态部署、被长推理链显存困扰的团队值得看,代码说会开源。
长上下文推理内存瓶颈有救了!DepthWeave-KV用跨层分解加自适应压缩,8.3倍KV缓存缩减,速度72.8 tokens/s,比其他方法效果更好。
FreqDepthKV在长上下文推理中将KV缓存压缩3.9倍,同时保持任务精度,比此前压缩方法更稳定,适合内存受限场景。
这篇论文提出了InfoKV,用信息熵改进KV缓存压缩,在Llama-3.1和DeepSeek-R1上比传统注意力方法效果更好,适合关注长推理效率的人。
做长上下文语言模型推理优化的团队,Express 能同时提升预填充和解码效率,值得直接集成到现有流水线中。
推理模型的长CoT导致KV缓存爆炸,做推理优化的开发者可以直接用ReasonAlloc替代均匀预算方案,在低预算下获得显著性能提升。
LSA 解决了超长上下文推理的 GPU 内存瓶颈,做长文档分析或大规模序列建模的团队可以直接参考其稀疏注意力方案,显著降低部署成本。
KV缓存压缩是长上下文推理的关键瓶颈,做LLM推理优化的开发者可以直接参考α方法——它用一行修改就打败了七种复杂方案,值得在自家模型上试试。
KV 通信已成为分离式 LLM 服务的瓶颈,KVServe 用自适应压缩解决了静态策略的次优问题。做 LLM 推理系统优化或部署大规模服务的团队,这个框架值得关注,可以直接集成到 vLLM 中试用。