Latent Sparse Attention：让超长上下文注意力计算提速 72 倍
超长上下文跑不动？这篇论文用分层聚类做稀疏注意力，10M token 下比全注意力快 72 倍还不掉点，做长上下文的值得看看。
#Latent Sparse Attention
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Latent Sparse Attention」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月2日
超长上下文跑不动？这篇论文用分层聚类做稀疏注意力，10M token 下比全注意力快 72 倍还不掉点，做长上下文的值得看看。