Mamba-2

general · 首次出现 2026-05-22 · 最近出现 2026-11-17 · 累计提及 48

综述

Mamba-2 是选择性状态空间模型(SSM)架构 Mamba 的第二代版本,由 Tri Dao 与 Albert Gu 在 2024 年提出。它通过结构化状态空间对偶(SSD)框架将 SSM 与注意力机制在理论上统一起来,用更简洁的标量递归实现更高的训练效率,并支持张量并行等大规模训练能力。作为 Transformer 之外的线性复杂度替代路线中最受关注的工作之一,Mamba-2 目前的研究热度主要集中在推理优化、低精度量化和与 Transformer 的混合架构上。

Mamba-2 近期进展

  • ReplaySSM:缓存SSM输入而非状态:该工作提出不缓存 SSM 状态本身,而是缓存递归的输入序列,从而在多实例推理时以更小的显存开销支持状态分支,为 Mamba2 类模型的长上下文部署提供了新思路。
  • ReplaySSM 优化 Mamba2 推理:vLLM 支持 SSM 输入缓存与 MTP:vLLM 团队宣布将 ReplaySSM 的 SSM 输入缓存与多 token 预测(MTP)机制落地到推理框架中,标志着 Mamba2 推理开始进入主流服务引擎。
  • Zyphra 发布 Zamba2-VL:混合 Mamba2-Transformer 视觉语言模型:Zyphra 将 Mamba2 与注意力层混合用于视觉语言建模,报告首 token 延迟降低约一个数量级,展示了混合架构在多模态场景下的实用价值。
  • Ternary Mamba:基于预训练检查点的分组QAT实现W1.58A16量化:研究者在预训练检查点基础上做分组量化感知训练,将权重压到 1.58 比特、激活保持 16 比特;同期 LinQuant 也从函数不变性角度探索线性递归模型的低精度量化,说明 Mamba2 的压缩瓶颈正在被系统研究。
  • 当前焦点与观察点

    Mamba-2 生态的演进呈现三条主线。其一是推理基础设施:SSM 状态管理与 KV 缓存逻辑不同,如何让 vLLM 这类主流引擎高效服务 Mamba2 系模型,是决定其能否规模落地的关键,ReplaySSM 与 vLLM 的合作为此提供了样板。其二是量化与压缩:状态空间模型的递归结构对低精度更敏感,W1.58A16、线性递归量化等工作表明社区正针对这一特性定制方案,而非简单套用 Transformer 的量化工具。其三是混合架构:Zamba2-VL 等模型把 Mamba2 层与注意力层交错使用,兼顾线性复杂度与精确检索能力,这种"混合而非替代"的路线正成为行业共识。

    值得关注的观察点包括:Mamba2 与 Muon 等新型优化器的组合训练效果;ParaTTT 这类对测试时训练层做并行化的工作能否进一步降低长上下文成本;以及状态使用测量工具揭示的输入驱动状态迁移现象,可能帮助理解选择性 SSM 的记忆机制。总体来看,Mamba-2 正从架构验证阶段走向工程化落地,其与混合设计、推理框架和量化技术的结合将决定这条线性复杂度路线的实际竞争力。

    相关报道

    10 条在档