LoopVQ：面向 Looped Transformer 的亚 1-bit KV Cache 量化方法
.looped 模型参数省但 KV cache 爆炸，这篇提出 0.5bit 量化方案，SGLang 实测吞吐最高涨 6.1 倍，做部署的可以看看。
#LoopVQ
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「LoopVQ」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月4日
.looped 模型参数省但 KV cache 爆炸，这篇提出 0.5bit 量化方案，SGLang 实测吞吐最高涨 6.1 倍，做部署的可以看看。