CompKV：补偿感知的稀疏注意力框架，长上下文推理最高提速 6.85 倍
一篇新论文 CompKV，重新设计了稀疏注意力里的 token 选择逻辑，长上下文推理自注意力最高快 6.85 倍，做推理优化的可以看看。
#CompKV
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「CompKV」标签的资讯、产品与论文，按刊登时间排，新的在上。
9月23日
一篇新论文 CompKV，重新设计了稀疏注意力里的 token 选择逻辑，长上下文推理自注意力最高快 6.85 倍，做推理优化的可以看看。