#RISA

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「RISA」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月18日
RISA:面向块扩散语言模型的可恢复稀疏注意力方法

块扩散模型长上下文慢,是因为每步去噪都要重读整份 KV cache。RISA 让一个块内所有去噪步骤共享一份稀疏读取计划,32K 加速 2.67 倍,128K 到 5.53 倍。做长文本生成、关注扩散语言模型部署的人可以看看,比 MAGE、QUEST、LoSA 同等 KL 下更快。

arXiv cs.LG@Xinrui Zhong 等 3 人原文