Twindex:粗到细选择的索引缓存卸载方案,提升长上下文稀疏注意力吞吐
搞长上下文推理部署的可以看看这篇。KV 卸载后 indexer 缓存反而吃掉七成 HBM,这个瓶颈很多人没意识到。Twindex 不改权重就能把单卡并发请求数提最多 3 倍,代价只是分数降 3% 以内,对做推理服务的团队很实用。
搞长上下文推理部署的可以看看这篇。KV 卸载后 indexer 缓存反而吃掉七成 HBM,这个瓶颈很多人没意识到。Twindex 不改权重就能把单卡并发请求数提最多 3 倍,代价只是分数降 3% 以内,对做推理服务的团队很实用。