AITOPAI热报

稀疏注意力

共 30 条相关 AI 资讯
9月3日
11:40
11:40官方账号arXiv cs.LG@Namgyu Ho, Huzama Ahmad, Woosung Koh, Se-Young Yun, Tal Schuster, Cicero Nogueira dos Santos
78°
研究团队提出声明式注意力(DA)协议，让模型在思维链中声明需要关注的内容区域。该协议将生成分为全局、聚焦和局部三种模式，在15个长上下文任务中，Gemma-4-31B和Qwen-3.6-27B模型解码时关注token分别减少52.0%和31.1%，准确率仅下降1.27pp和2.75pp。
论文声明式注意力Gemma-4-31BQwen-3.6-27B
推荐理由：新DA协议让模型自己决定关注哪部分内容，大幅减少计算量，Gemma和Qwen模型效果显著。
原文
8月4日
12:10
12:10官方一手arXiv: DeepSeek@Wen Zan, Jiaqi Zhang, Jianchao Tan, Hong Liu, Cunguang Wang, Xiang Li, Duyue Ma, Guanyu Wu, Yifan Lu, Fengcun Li, Yerui Sun, Peng Pei, Yuchen Xie, Xunliang Cai
LongCat Sparse Attention（LSA）提出流式感知索引、跨层索引和分层索引三种策略，解决DeepSeek Sparse Attention的O(L^2)计算开销和内存访问不连续问题。LSA在69B-A3B到560B-A27B规模模型上，与全注意力性能持平。LSA支持原生训练最长100万token的上下文，并支撑LongCat-2.0（1.6T-A48B）的开发。团队开源了LongCat-Flash-Lite-Sparse（69B-A3B）。
AI模型LongCatDeepSeek Sparse Attention稀疏注意力
推荐理由：DeepSeek稀疏注意力有个瓶颈，LongCat这套新方案用流式感知和跨层索引把它治了，跑长文本不慢，还开源了个69B模型，可以试试。
原文
7月30日
02:33
7月28日
12:33
12:33官方一手arXiv: DeepSeek@Hong Liu, Yuan Cheng, Lin Niu, Yi Su, Yufei Xue, Anmin Liu, Guanghua Yu, Jianchen Zhu
DeepSeek稀疏注意力（DSA）在生成式系统中实现令牌级稀疏注意力，但索引器仍需对所有前序token打分，复杂度为O(L²)。PIVOT利用附近查询的token重叠性和索引器得分长尾分布，通过共享前缀扫描加速。PIVOT将一组查询聚合成一个代理查询，进行一次全前缀扫描得到候选集，再为每个查询选择top-k。两个变体：PIVOT-Reuse共享代理top-k，PIVOT-Refine重新评分候选集。在DeepSeek-V3.2和GLM-5.1上，在LongBench和RULER基准上，PIVOT匹配精度，索引器加速4倍，端到端延迟降低1.6倍。
论文PIVOTDeepSeekGLM
推荐理由：PIVOT用共享前缀扫描替代逐查询扫描，加速4倍，端到端延迟降1.6倍，效果不打折。适合长上下文推理场景。
原文
7月23日
11:22
11:22官方账号arXiv cs.AI@Mahdi Heidari, Mohammad Mahdi Rahimi, Jaekyun Moon
ELSAA提出一种结合稀疏和低秩分支的注意力近似方法，避免显式计算完整的N×N注意力矩阵。稀疏分支捕捉高相似度交互，低秩分支压缩全局信息，并通过分母感知融合项平衡两者。该方法旨在支持更长上下文训练，同时保留token级交互和上下文混合能力。在多个长序列基准上验证了其效率与效果。
论文ELSAATransformer注意力机制
推荐理由：这篇论文把稀疏和低秩两种思路拧在一起，解决Transformer的长序列瓶颈。不用算完整的注意力矩阵，就能同时抓住局部和全局信息。
原文
7月16日
10:46
7月15日
09:14
09:14官方一手arXiv: DeepSeek@Ziqi Yin, Jianyang Gao, Peiqi Yin, Jiangneng Li, Gao Cong
本文针对长上下文稀疏注意力中的Indexer-TopK操作，指出现有GPU内核如DeepSeek Sparse Attention（DSA）存在全局内存开销大、同步成本高问题。作者利用高维空间中向量距离分布集中的特性，提出LiteTopK内核：通过采样小部分数据估计查询-数据分数范围，在线分桶，维持紧近似阈值并回写有潜力候选。实验在GLM 5.2的预填充阶段实现1.2倍加速，同时降低内存开销，且保持精确Top-k结果。
论文LiteTopKDeepSeek Sparse AttentionGLM 5.2
推荐理由：这论文用维度诅咒的视角，搞了个LiteTopK算子，比DeepSeek的DSA更快更省内存，GLM 5.2预填充直接快1.2倍。
原文
7月13日
09:12
09:12官方一手arXiv: DeepSeek@Alexander Tian, Aditya Ghai, Sanjit Neelam, Zaal Vasania, Akshay Mishra
精选
COBS通过引入压缩的二阶统计量改进了DeepSeek Native Sparse Attention（NSA）的块选择策略。在32k RULER长上下文检索基准上，COBS将平均分从NSA基线的0.2999提升至0.8195，接近稠密注意力的0.9040，缩小了约86%的差距。其KV缓存读取流量仅为稠密注意力的1/15.15，比NSA基线高1.21倍。模型保持短上下文行为，并在位置负对数似然上低于稠密注意力。
论文COBSNative Sparse AttentionDeepSeek
推荐理由：COBS在NSA基础上加了个二阶统计量，长上下文检索分数从0.3拉到0.82，接近稠密注意力但省了十几倍带宽，很实用。
原文
7月11日
09:43
09:43Fireworks AI@FireworksAI_HQ
精选74°
MiniMax AI发布M3内核，针对长上下文稀疏注意力中数据依赖块选择导致的内存访问瓶颈。M3采用KV-stationary设计，每个块仅读取一次。在B200 GPU上达到约980 TFLOP/s的算力。该方案有效提升长上下文推理效率。
AI模型MiniMaxM3Blackwell
推荐理由：MiniMax搞了个M3内核，KV-stationary让稀疏注意力在B200上跑到980 TFLOP/s，每个块只读一次，长上下文推理加速神器。
原文
7月7日
23:15
22:15
7月6日
05:27
05:27官方一手marktechpost@Asif Razzaq
美团发布LongCat-2.0，总参数量1.6万亿，每个token激活约480亿参数。模型原生支持100万token上下文，采用LongCat稀疏注意力机制。训练与推理均在国内AI ASIC超算集群上完成。该模型开源，API已开放访问。
AI模型LongCat-2.0Meituan开源模型
事件专题
推荐理由：美团开源了1.6T参数的LongCat-2.0，激活参数480亿，原生支持100万token上下文，国内ASIC集群跑出来的，值得关注。
原文
7月1日
09:43
6月19日
09:34
09:34官方一手arXiv: DeepSeek@Ruiyang Ma, Teng Ma, Junru Li, Hantian Zha, Xuchun Shang, Qingda Hu, Zheng Liu, Xinjun Yang, Tao Ma, Guojie Luo
精选71°
长上下文LLM推理的内存瓶颈日益突出。传统RDMA解耦内存池对于稀疏注意力模型效率低下，仍需完整获取KV缓存。SAC系统利用CXL的低延迟、缓存行粒度加载/存储语义，仅在推理时按需获取所需的top-k KV条目。在DeepSeek-V3.2上使用SGLang的评估显示，相比RDMA基线，SAC实现了2.1倍吞吐量提升、9.7倍TTFT降低和1.8倍TBT降低。
论文SACCXLKV缓存
事件专题
推荐理由：长上下文推理，内存传输是瓶颈。新方案SAC用CXL按需取KV缓存，比RDMA吞吐量翻倍、延迟降到十分之一，做稀疏推理的值得一看。
原文
6月17日
23:33
6月12日
22:47
22:47官方账号vLLM@vllm_project
73°
MiniMax AI 发布了新一代开源模型 MiniMax M3，具备前沿的编码和智能体能力，原生支持图像和视频输入、计算机使用功能，并拥有 100 万 token 的上下文窗口。其核心是 MSA（MiniMax Sparse Attention）稀疏注意力架构，通过仅对 top 128-token KV 块进行注意力计算，大幅降低了长上下文推理的计算成本。M3 已在 vLLM 中实现首日支持，可在 NVIDIA 和 AMD 硬件上运行，支持 BF16 和 MXFP8 检查点、MoE 后端、多模态输入、工具调用和推理控制。这一成果是 MiniMax、NVIDIA、AMD 和 vLLM 社区合作的结晶。
AI模型MiniMax M3稀疏注意力1M上下文
事件专题
推荐理由：M3 的 1M 上下文和稀疏注意力架构解决了长文档和复杂智能体任务的性能瓶颈，做 RAG、代码分析和自动化工作流的团队可以直接在 vLLM 上部署试用。
原文
09:13
09:13官方账号arXiv cs.AI@Xunhao Lai, Weiqi Xu, Yufeng Yang, Qiaorui Chen, Yang Xu, Lunbin Zeng, Xiaolong Li, Haohai Sun, Haichao Zhu, Vito Zhang, Pengyu Zhao
精选
MiniMax 提出了一种名为 MiniMax Sparse Attention (MSA) 的块级稀疏注意力机制，旨在解决大语言模型在超长上下文（百万级 token）下的计算瓶颈。MSA 基于分组查询注意力（GQA），通过轻量级索引分支对键值块进行评分，并为每个 GQA 组独立选择 Top-k 子集，实现高效的组级稀疏检索。在 109B 参数的多模态模型上，MSA 在 1M 上下文长度下将每 token 注意力计算量减少 28.4 倍，并在 H800 GPU 上实现 14.2 倍预填充和 7.6 倍解码加速。该方法的推理内核已开源，同时发布了基于 MSA 的生产级多模态模型。
论文稀疏注意力长上下文推理加速
推荐理由：做长上下文推理或 agent 工作流的开发者，终于有了一个能直接部署的稀疏注意力方案——MSA 在 109B 模型上实现 28 倍计算缩减，且内核已开源，值得立刻试跑。
原文
6月9日
10:32
10:32官方一手arXiv: DeepSeek@Yan Wang, Qifan Zhang, Jiachen Yu, Tian Liang, Dongyang Ma, Xiang Hu, Zibo Lin, Chunyang Li, Zhichao Wang, Jia Li, Yujiu Yang, Haitao Mi, Dong Yu
精选72°
FlashMemory-DeepSeek-V4 提出了一种名为 Lookahead Sparse Attention (LSA) 的新型推理范式，通过神经记忆索引器预测未来上下文需求，仅保留关键 KV 块在 GPU 内存中。该架构采用解耦训练策略，将索引器作为独立双编码器训练，无需加载主模型。在 LongBench-v2、LongMemEval 等长上下文评测中，LSA 将物理 KV 缓存压缩至全上下文基线的 13.5%，同时下游准确率平均提升 0.6%。在 50 万 token 极端长度下，物理 KV 缓存开销降低超过 90%，且不损害模型核心推理能力。
论文稀疏注意力长上下文KV缓存压缩
推荐理由：LSA 解决了超长上下文推理的 GPU 内存瓶颈，做长文档分析或大规模序列建模的团队可以直接参考其稀疏注意力方案，显著降低部署成本。
原文
6月5日
20:42
20:42IT之家（博客/媒体）
72°
腾讯混元团队提出 Stem 稀疏注意力算法，已被 ICML-26 收录。该算法通过 Token 位置衰减和输出感知度量两大创新，仅用 25% 算力即可逼近稠密注意力的精度。配套的 HPC 算子库将理论加速转化为实际性能，在 128K 上下文下首字延迟降低 3.6 倍。该方案为长文本推理场景提供了高效、低成本的注意力加速方案，相关论文和代码已开源。
论文稀疏注意力长文本推理腾讯混元
推荐理由：长文本推理的延迟痛点终于有了低成本解法——Stem 用 25% 算力实现近无损精度，做 LLM 推理优化的团队可以直接用开源代码实测，128K 上下文下首字延迟降低 3.6 倍的效果值得关注。
原文
12:06
12:06官方账号arXiv cs.AI@Yutao Sun, Yanqi Zhang, Li Dong, Jianyong Wang, Furu Wei
精选
本文提出跨层稀疏注意力（CLSA），一种基于KV共享架构（如YOCO）的新方法。核心创新在于不仅共享KV缓存，还共享路由索引——单个索引器计算一次token级top-k选择，结果跨层复用，既保留了细粒度选择性，又分摊了路由开销。实验显示，在128K上下文下，CLSA实现最高7.6倍解码加速和17.1倍整体吞吐提升，同时保持模型质量。这为长上下文LLM提供了一种兼顾效率与质量的架构方案。
论文稀疏注意力长上下文推理加速
推荐理由：长上下文推理的瓶颈终于有了系统级解法——CLSA通过共享路由索引同时加速预填充、缓存和解码，做LLM推理优化的团队值得看看这个架构思路。
原文
12:01
12:01官方账号arXiv cs.AI@Zhuoming Chen, Xinrui Zhong, Qilong Feng, Ranajoy Sadhukhan, Yang Zhou, Michael Qizhe Shieh, Zhihao Jia, Beidi Chen
精选
Vortex 是一个专为大规模语言模型（LLM）设计的稀疏注意力服务系统，解决了稀疏注意力算法在部署和评估中工程成本高的问题。它通过 Python 嵌入式前端语言和页面中心张量抽象，支持广泛稀疏注意力算法的快速原型设计、部署和评估。在 NVIDIA B200 GPU 上，Vortex 使 AI Agent 自动生成的算法吞吐量比全注意力提升高达 3.46 倍，并在 MLA 架构的 GLM-4.7-Flash 和 229B 参数的 MiniMax-M2.7 上分别实现 4.7 倍和 1.37 倍的吞吐量提升。该系统显著加速了稀疏注意力算法的迭代，尤其适用于长序列生成场景。
论文稀疏注意力LLM服务AI Agent
事件专题
推荐理由：稀疏注意力是长上下文 LLM 服务的关键瓶颈，Vortex 让 AI Agent 和研究者能快速实验新算法，做 LLM 推理优化的团队可以直接用它提升吞吐量，值得关注。
原文
6月4日
01:21
6月3日
04:40
04:40官方账号Together AI@togethercompute
76°
MiniMax-M3 是一款结合了 1M 上下文窗口、原生多模态能力和 MiniMax 稀疏注意力机制的新模型。Together 的推理和内核团队通过 KV-block-major 稀疏注意力、分页 MSA 解码、优化索引评分以及 GPU 工作前的多模态预处理，将常见智能体流量下的吞吐量提升了 81-125%。该模型在长上下文和多模态任务上表现出色，适合需要处理大量信息和多种数据类型的应用场景。
AI模型MiniMax-M3稀疏注意力多模态
事件专题
推荐理由：做长上下文和多模态应用的团队可以关注——MiniMax-M3 的稀疏注意力优化让吞吐量提升显著，直接降低推理成本，值得一试。
原文
6月1日
18:53
18:53岚叔@lufzzliz
精选76°
MiniMax 发布新一代旗舰模型 M3，面向 coding agent、长上下文和多模态任务。M3 支持 1M 上下文，核心技术创新是 MiniMax Sparse Attention (MSA)，通过稀疏注意力将 KV 分块并精确选取相关块，大幅降低长上下文计算成本。在 1M 上下文下，每 token 计算量仅为上一代的 1/20，prefill 提速 9 倍以上，decode 提速 15 倍以上。M3 支持文本、图片、视频输入，将长上下文、工具调用、多模态理解和持续执行能力整合，明确押注 agentic coding 场景。
AI模型MiniMax-M3稀疏注意力长上下文
事件专题
推荐理由：M3 的稀疏注意力解决了长上下文推理的成本痛点，做 coding agent 和自动化任务的开发者可以直接关注——1M 上下文下计算量骤降 95%，意味着更长的任务链也能跑得动。
原文
18:24
18:24berryxia@berryxia
精选76°
KwaiKeye 在 Hugging Face 开源了多模态模型 Keye VL 2.0-30B-A3B，总参数 30B 但活跃参数仅 3B，采用 Apache 2.0 协议。模型通过 DeepSeek 稀疏注意力实现 256K 上下文，视频理解能力随输入帧数增加而准确率上升，打破长视频导致模型迷失的直觉。在多个长视频基准上，其表现与 Qwen3 VL 和 Gemini 3 Flash 相当。该模型证明了稀疏注意力可同时兼顾长上下文和深度理解，是多模态领域的重要进展。
AI模型多模态模型稀疏注意力开源/仓库
推荐理由：做视频理解或多模态应用的开发者，终于有了一个长上下文和深度理解兼得的开源模型，建议直接去 Hugging Face 下载试试。
原文
14:50
14:50官方一手歸藏(guizang.ai)@op7418
精选76°
MiniMax 正式发布大版本模型升级 MiniMax M3，核心亮点包括标配 1M 超长上下文、采用新的 MSA（MoE with Segment-wise Attention）稀疏注意力架构，以及从训练起就融合了文本、图片、视频和桌面操作的原生多模态能力。MSA 架构在 100 万上下文下每 token 计算量仅为上一代的约 1/20，大幅提升可落地性。API 价格同步更新，小于 512k 的 API 限时五折（7 天）。模型权重和技术报告将在约 10 天后开源。
AI模型MiniMax M3长上下文稀疏注意力
事件专题
推荐理由：MiniMax M3 把长上下文、稀疏注意力和多模态融合做到了一个模型里，而且计算效率大幅提升，做 Agent 开发、多模态应用或长文档处理的团队可以直接用 API 试试，价格也很友好。
原文
5月28日
15:39
15:39官方一手pandaily@contact@pandaily.com (Pandaily)
精选
中国 AI 独角兽 MiniMax 正在准备推出其下一代 M3 大语言模型，该模型采用自研稀疏注意力机制，声称预填充速度提升 9.7 倍。M3 模型旨在解决长上下文场景下的计算效率瓶颈，通过稀疏化注意力计算减少冗余，从而加速推理并降低资源消耗。这一进展对需要处理超长文本的 AI 应用（如文档分析、对话系统）具有重要意义。MiniMax 预计在 2026 年 5 月正式发布 M3 模型。
AI模型MiniMaxM3稀疏注意力
推荐理由：稀疏注意力是当前大模型效率优化的关键方向，MiniMax 的 9.7 倍提速对做长文本推理的开发者是直接利好，值得关注其技术细节和开源计划。
原文
5月27日
08:36
08:36berryxia@berryxia
83°
MiniMax AI工程负责人Skyler Miao预告了下一代模型M3的发布，并透露其核心架构：基于GQA的动态块稀疏注意力。该技术通过轻量索引分支快速筛选相关token块，仅对关键块执行稀疏注意力计算，大幅降低算力需求。在1M token上下文下，M3的预填充速度比M2快9.7倍，解码速度快15.6倍。这使得百万token级别的Agent任务从理论走向实用，长上下文处理变得又快又省。M3的发布将为长上下文模型赛道增添有力竞争者。
AI模型MiniMaxM3长上下文
推荐理由：MiniMax M3用动态稀疏注意力把1M上下文的算力成本打下来了，做长上下文Agent的开发者可以直接关注，这可能是让百万token任务真正落地的关键突破。
原文
5月26日
12:38
12:38官方一手arXiv: DeepSeek@Spandan Pratyush
精选
该论文提出一种基于语法角色（词性标注）的稀疏注意力机制，通过动态生成注意力掩码，只允许语法相关的词对进行交互，从而降低Transformer自注意力的计算复杂度。实验在SST-2情感分类任务上使用DistilBERT架构，硬掩码和软掩码策略分别达到0.8200和0.8165的准确率，与全注意力的0.8200持平，但显著减少了理论计算开销。该方法为构建更高效、可解释且融入语言学知识的Transformer模型提供了新路径。
论文稀疏注意力Transformer语法引导
推荐理由：做NLP模型压缩或可解释性研究的开发者，可以关注这种用语法知识替代暴力稀疏化的思路——既省算力又不掉点，值得在长文本任务上试试。
原文
5月19日
14:22
14:22官方账号arXiv cs.AI@Yuxiang Huang, Nuno M. T. Gonçalves, Federico Alvetreti, Lei Li, Xu Han, Edoardo M. Ponti, André F. T. Martins, Marcos V. Treviso
精选72°
DashAttention 提出了一种新的分层注意力机制，通过可微分的 α-entmax 变换替代传统 top-k 操作，自适应地为每个查询选择可变数量的关键值块，从而解决了现有方法（如 NSA 和 InfLLMv2）中固定块数和梯度阻断的问题。该方法保持整个层次结构完全可微分，且具有非分散性，提升了长上下文建模能力。实验表明，在 75% 稀疏度下，DashAttention 的准确率与全注意力相当，在高稀疏场景下优于 NSA 和 InfLLMv2。其基于 Triton 的 GPU 实现推理速度甚至超过 FlashAttention-3。DashAttention 为长上下文模型提供了一种高效且经济的方案。
论文注意力机制长上下文稀疏注意力
推荐理由：长上下文 LLM 的推理成本一直是痛点，DashAttention 用可微分稀疏注意力在保持精度的同时大幅提速，做长文本推理和模型优化的研究者值得关注。
原文