GAAC：无损 KV 压缩方案，让长上下文推理更省内存

论文提出 Group-Adaptive Additive Codec（GAAC），一种无损 KV cache 压缩与服务系统，利用 BF16 指数冗余在不损失精度的前提下压缩 KV。在五个测试模型上，GAAC 对 BF16 KV 达到 1.405-1.407 倍无损压缩；对 FP8 E4M3 缓存为 1.09-1.14 倍，E5M2 为 1.25-1.30 倍。在 NVIDIA DGX Spark 上，64K token 上下文的解码注意力加速 1.19-1.27 倍，端到端 W4A16 解码步骤加速 1.04-1.15 倍，服务态 KV 常驻内存减少约 26%，吞吐提升 13-29%。在 Apple M4 上注意力加速 1.02-1.25 倍，证明方案可移植到 NVIDIA 之外的硬件。