KV Cache砍掉99%，单卡吞吐提升6倍，港科大、CMU联手岩山科技开源新模型
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
精选理由
港科大、CMU和岩山科技把KV Cache砍到只剩1%，单卡同时跑512路长推理，吞吐6倍，代码开源了，做本地部署的可以直接看看。
香港科技大学与CMU联合岩山科技开源了一个新模型，核心改进是把KV Cache压缩到只剩1%，削减幅度达99%。KV Cache是长文本推理时的显存大头，砍掉后单张显卡可以同时跑512路长推理。实测吞吐量相比原来提升了6倍，长序列场景下的显存压力明显缓解。团队已将模型开源，适合本地部署和批量推理场景使用。
原文 · 量子位
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
一张卡，512路长推理同时跑
