DTS:基于差分的分块打分方法加速长上下文稀疏注意力
处理超长文档或大代码库时,prefill 经常卡在注意力计算上。这篇论文的 DTS 不用训练,打分延迟比 XAttention 低 38%,512K tokens 下还有 3.3 倍加速,精度几乎不掉。做长上下文推理优化的工程师可以看看实现思路。
处理超长文档或大代码库时,prefill 经常卡在注意力计算上。这篇论文的 DTS 不用训练,打分延迟比 XAttention 低 38%,512K tokens 下还有 3.3 倍加速,精度几乎不掉。做长上下文推理优化的工程师可以看看实现思路。