#TraceKV

推理型 VLM 的 KV 缓存太吃显存，这篇论文给出免训练方案：在线校准加敏感度 SVD，5.64 倍压缩基本不掉点，解码还能快 1.83 倍。做多模态部署、被长推理链显存困扰的团队值得看，代码说会开源。