#Mamba

用 Mamba 把金字塔相邻尺度织在一起做轻量人脸检测，0.34M 参数就在 WIDER FACE 上拿到 91.41% mAP，Hard 集也稳，代码还开源了。

论文提出了一种确定性抖动方法，能显著提升量化语言模型在长文本生成中的性能，无需额外计算成本。

这篇论文用听觉皮层的固定时间尺度思路改设计 SSM，Selective Copying 上赢 Hawk，状态追踪超过 Mamba，还顺带把非线性 RNN 做成可并行的，做架构研究的可以看看。

有人拿 SAE 逐个对比 Mamba 和 Pythia 的内部特征，99.98% 几乎一样，做可解释性的可以看看。

Applied Compute 支持 Nemotron 3.5 Lightning 了，并发翻 16 倍延迟不涨，训练迭代快多了。

官方账号NVIDIA AI@NVIDIAAI11 个信源在谈原文

Muon优化器之前都在Transformer上测试，这篇论文把它用到Mamba-2 130M上，发现输出投影用Muon最划算，训练效率更高，值得看看。

这篇论文给出了一个能精确测量Mamba状态使用情况的工具，还发现模型会根据输入动态调整哪些状态起作用——基于这个发现做剪枝，效果比之前的方法好很多，7B模型上预算减半性能不变。