事件专题 ·多源确认

DTS:基于差分的分块打分方法加速长上下文稀疏注意力

arXiv 论文提出 Delta-Based Tile Scoring(DTS),一种无需训练、按内容自适应的稀疏分块注意力打分方法,针对长文档和代码库带来的 prefill 瓶颈。方法根据局部向量变化选取 query 和 key 锚点,冗余区域使用更少代表点,异构区域保留更多细节,并通过并行 delta packing 将序列切分为 tile 对齐的分块、并发执行有界局部扫描来加速锚点选择。 在 LLaMA-3.1-8B-Instruct 上的评测显示,DTS 的平均 RULER 和 LongBench 分数与全量注意力的差距不超过 0.10 个百分点,其中 RULER 评测最长到 128K tokens。速度方面,128K tokens 下打分管线延迟比 XAttention 降低 38%;在 4 张 NVIDIA H100 上、512K tokens 场景,相比使用 FlashAttention-2 的 PyTorch 全量注意力基线取得 3.3 倍 prefill 加速。

当前结论

处理超长文档或大代码库时,prefill 经常卡在注意力计算上。这篇论文的 DTS 不用训练,打分延迟比 XAttention 低 38%,512K tokens 下还有 3.3 倍加速,精度几乎不掉。做长上下文推理优化的工程师可以看看实现思路。

9 个信源42° AI 热度最后更新 2026/11/19 11:23:22

证据链

9 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。