#DTS

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「DTS」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月20日
论文Agent 与开发者多源确认12:40
DTS:基于差分的分块打分方法加速长上下文稀疏注意力

处理超长文档或大代码库时,prefill 经常卡在注意力计算上。这篇论文的 DTS 不用训练,打分延迟比 XAttention 低 38%,512K tokens 下还有 3.3 倍加速,精度几乎不掉。做长上下文推理优化的工程师可以看看实现思路。

事件专题
arXiv cs.LG@Emre Uğur 等 3 人原文