RoLaQ：面向 2-bit KV 缓存的旋转与范围联合校准方法
论文提出 RoLaQ，让 MLA 模型的 KV 缓存压到 2-bit，在 DeepSeek-V2-Lite 上吞吐提升 2.51 倍，做长上下文推理的可以看看。
#RoLaQ
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「RoLaQ」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月16日
论文提出 RoLaQ，让 MLA 模型的 KV 缓存压到 2-bit，在 DeepSeek-V2-Lite 上吞吐提升 2.51 倍，做长上下文推理的可以看看。