RISA:面向块扩散语言模型的可恢复稀疏注意力方法
块扩散模型长上下文慢,是因为每步去噪都要重读整份 KV cache。RISA 让一个块内所有去噪步骤共享一份稀疏读取计划,32K 加速 2.67 倍,128K 到 5.53 倍。做长文本生成、关注扩散语言模型部署的人可以看看,比 MAGE、QUEST、LoSA 同等 KL 下更快。
块扩散模型长上下文慢,是因为每步去噪都要重读整份 KV cache。RISA 让一个块内所有去噪步骤共享一份稀疏读取计划,32K 加速 2.67 倍,128K 到 5.53 倍。做长文本生成、关注扩散语言模型部署的人可以看看,比 MAGE、QUEST、LoSA 同等 KL 下更快。