#注意力优化

苹果和英伟达设备都能跑的无损 KV 压缩，内存省 26%、吞吐提 29%，做端侧长上下文推理的值得看看这套编解码思路。