GAAC：无损 KV 压缩方案，让长上下文推理更省内存
苹果和英伟达设备都能跑的无损 KV 压缩，内存省 26%、吞吐提 29%，做端侧长上下文推理的值得看看这套编解码思路。
#KV压缩
共 3 条 · 7 天 0 条 · 30 天 1 条
信息流里打上「KV压缩」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月30日
9月28日
Acoustic-to-Text KV压缩：让全双工语音模型长对话内存降64.6%
全双工语音模型聊久了内存会爆，这篇用转录旁路压缩KV，十分钟会话峰值缓存直接砍掉64.6%，性能还不掉。
8月31日
PASK：结构化生成中的条件化KV持久化
PASK让结构化生成更高效，在保持准确性的同时大幅降低内存使用，提升处理速度。