mamba2·general

Mamba-2

别名
首次出现
2026-05-22
最近出现
2026-08-31
累计提及
28
§ 01综述
  • Mamba-2,作为一种先进的混合架构模型,近期在多个研究和报道中获得了广泛关注。
  • Mamba-2 近期进展

  • Muon相遇Mamba:状态空间模型的谱优化:这项研究展示了Mamba-2在状态空间模型谱优化方面的潜力。
  • Google发布JAXBench:文档优化使Gemini 3 Flash正确率从5.8%升至37.3%:Google通过优化文档,显著提高了Gemini 3 Flash的正确率。
  • Windowed-MTP:消除百万token上下文中的全上下文草稿KV负担:这项研究提出了Windowed-MTP方法,减轻了Mamba-2在处理大量token时的负担。
  • 选择性状态空间模型状态使用的精确测量工具及其揭示的输入驱动迁移:研究揭示了一种新的测量工具,用于分析Mamba-2的输入驱动迁移。
  • Ternary Mamba:基于预训练检查点的分组QAT实现W1.58A16量化:Ternary Mamba通过预训练检查点实现了高效的量化。
  • Zyphra 发布 Zamba2-VL:混合 Mamba2-Transformer 视觉语言模型,首 token 延迟降低约一个数量级:Zyphra推出的Zamba2-VL模型显著降低了首token的延迟。
  • Nemotron 3 Ultra 开源:Mamba-2 混合架构,效率惊人:Nemotron 3 Ultra的开放源代码揭示了Mamba-2混合架构的高效率。
  • NVIDIA Nemotron 3 深度解析:混合 Mamba Transformer + 潜在 MoE + MTP:NVIDIA对Nemotron 3的深度解析揭示了其混合架构和潜在的应用。
  • xLSTM 在子二次架构对比中胜出:代码预训练与时序建模表现最强:xLSTM在子二次架构对比中表现出色。
  • 当前焦点与观察点

  • Mamba-2的研究和应用正在迅速发展,特别是在混合架构和效率提升方面。
  • 模型的优化和量化是实现高效应用的关键。
  • Mamba-2在视觉语言模型和状态空间模型的应用引起了广泛关注。
  • § 02相关报道10 条在档
    1. 01
      Muon相遇Mamba:状态空间模型的谱优化
      arXiv cs.LG
    2. 02
      Google发布JAXBench:文档优化使Gemini 3 Flash正确率从5.8%升至37.3%
      elvis
    3. 03
      Windowed-MTP:消除百万token上下文中的全上下文草稿KV负担
      arXiv cs.LG
    4. 04
      选择性状态空间模型状态使用的精确测量工具及其揭示的输入驱动迁移
      arXiv cs.LG
    5. 05
      Ternary Mamba:基于预训练检查点的分组QAT实现W1.58A16量化
      arXiv cs.LG
    6. 06
      Zyphra 发布 Zamba2-VL:混合 Mamba2-Transformer 视觉语言模型,首 token 延迟降低约一个数量级
      marktechpost
    7. 07
      Nemotron 3 Ultra 开源:Mamba-2 混合架构,效率惊人
      Sebastian Raschka
    8. 08
      NVIDIA Nemotron 3 深度解析:混合 Mamba Transformer + 潜在 MoE + MTP
      NVIDIA AI
    9. 09
      xLSTM 在子二次架构对比中胜出:代码预训练与时序建模表现最强
      arXiv cs.LG
    10. 10
      NVIDIA 发布 Gated DeltaNet-2:线性注意力层解耦擦除与写入
      marktechpost
    § 03邻近话题

    本页综述由 AITOP 基于公开报道整理。原报道版权归各自来源所有。

    /topic/Mamba-2