RoLaQ：面向 2-bit KV 缓存的旋转与范围联合校准方法
论文提出 RoLaQ，让 MLA 模型的 KV 缓存压到 2-bit，在 DeepSeek-V2-Lite 上吞吐提升 2.51 倍，做长上下文推理的可以看看。
#KV缓存量化
共 2 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「KV缓存量化」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月16日
6月24日
论文提出 RoLaQ，让 MLA 模型的 KV 缓存压到 2-bit，在 DeepSeek-V2-Lite 上吞吐提升 2.51 倍，做长上下文推理的可以看看。