#Twindex

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Twindex」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月20日
Twindex:粗到细选择的索引缓存卸载方案,提升长上下文稀疏注意力吞吐

搞长上下文推理部署的可以看看这篇。KV 卸载后 indexer 缓存反而吃掉七成 HBM,这个瓶颈很多人没意识到。Twindex 不改权重就能把单卡并发请求数提最多 3 倍,代价只是分数降 3% 以内,对做推理服务的团队很实用。

arXiv: DeepSeek@Yuxuan Xia 等 6 人原文