Mamba-2 是选择性状态空间模型(SSM)架构 Mamba 的第二代版本,由 Tri Dao 与 Albert Gu 在 2024 年提出。它通过结构化状态空间对偶(SSD)框架将 SSM 与注意力机制在理论上统一起来,用更简洁的标量递归实现更高的训练效率,并支持张量并行等大规模训练能力。作为 Transformer 之外的线性复杂度替代路线中最受关注的工作之一,Mamba-2 目前的研究热度主要集中在推理优化、低精度量化和与 Transformer 的混合架构上。
Mamba-2 近期进展
当前焦点与观察点
Mamba-2 生态的演进呈现三条主线。其一是推理基础设施:SSM 状态管理与 KV 缓存逻辑不同,如何让 vLLM 这类主流引擎高效服务 Mamba2 系模型,是决定其能否规模落地的关键,ReplaySSM 与 vLLM 的合作为此提供了样板。其二是量化与压缩:状态空间模型的递归结构对低精度更敏感,W1.58A16、线性递归量化等工作表明社区正针对这一特性定制方案,而非简单套用 Transformer 的量化工具。其三是混合架构:Zamba2-VL 等模型把 Mamba2 层与注意力层交错使用,兼顾线性复杂度与精确检索能力,这种"混合而非替代"的路线正成为行业共识。
值得关注的观察点包括:Mamba2 与 Muon 等新型优化器的组合训练效果;ParaTTT 这类对测试时训练层做并行化的工作能否进一步降低长上下文成本;以及状态使用测量工具揭示的输入驱动状态迁移现象,可能帮助理解选择性 SSM 的记忆机制。总体来看,Mamba-2 正从架构验证阶段走向工程化落地,其与混合设计、推理框架和量化技术的结合将决定这条线性复杂度路线的实际竞争力。