AITOPAI热报

Gated DeltaNet

product · 首次出现 2026-05-23 · 最近出现 2026-10-12 · 累计提及 12

综述

Gated DeltaNet 是一种线性注意力架构，在 DeltaNet 的状态更新规则上引入门控机制，用于控制历史信息的遗忘与写入，以此在保持常数级推理内存和线性复杂度的同时提升长序列建模能力。它被视为 Transformer 之外最受关注的次二次复杂度序列建模方案之一，已被多家机构用于实际模型设计。

Gated DeltaNet 近期进展

  • 论文 Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention 提出将状态更新中的擦除（erase）与写入（write）操作解耦，使模型能更独立地决定遗忘旧信息与吸收新信息，被视为该架构的下一代迭代方向。
  • 阿里通义团队在 Qwen3.8-Flash-Next 的模型架构说明 中列出的四项核心升级里采用了线性注意力路线，Qwen3.8-Flash-Next 发布报道 显示该模型为 125B 参数的多模态 MoE、激活参数 6B，并被视为 Qwen4 架构的前瞻，其中线性注意力组件与 Gated DeltaNet 一脉相承；据 Qwen 官方消息，vLLM 从发布第一天起就支持其在 NVIDIA 与 AMD 硬件上运行。
  • 量化部署方面，Gated DeltaNet 在 4 位量化中保持性能的机制研究 分析了其在 4 bit 量化下性能保持的内在原因，而 LeapQuant 则针对线性注意力的循环状态提出高效量化方案，降低部署成本。
  • 推理效率方面，Tri Dao 在 重计算技巧使 SSM 的推测解码速度翻倍 中报告了让状态空间模型推测解码速度提升一倍的重计算方法；ReplaySSM 另辟蹊径，通过缓存输入而非状态来优化此类模型的推理。

    • 当前焦点与观察点

    Gated DeltaNet 目前的讨论集中在三个层面。其一是表达能力：Gated DeltaNet-2 的擦除/写入解耦说明社区仍在打磨状态更新规则本身，On Subquadratic Architectures 等工作也在从原理层面审视次二次架构的理论边界。其二是工程落地：Multi-Mixer Models 探索了共享表示下的灵活序列建模，而量化与解码加速的研究则直接关系到这类线性注意力模型能否在生产环境与主流推理框架中稳定运行。其三是产业信号：Qwen3.8-Flash-Next 的发布被视为线性注意力路线进入主流大模型产品的标志，其后续在长上下文任务上的真实表现，以及 Qwen4 是否全面采用这一架构，将是观察 Gated DeltaNet 走向的关键节点。

    相关报道

    10 条在档