AdamW 是深度学习中最广泛使用的参数优化算法之一，它在 Adam 的基础上将权重衰减与梯度更新解耦，自 2017 年提出以来一直是模型训练的默认选择。随着大模型规模扩大，AdamW 的优化器状态会占用大量显存，同时以 Muon 为代表的新一代优化器开始对它的地位构成实质挑战。
AdamW 近期进展
围绕 AdamW 的研究近期集中在两个方向：一是用 Muon 等新优化器替代或对比它，二是压缩其优化器状态以降低训练成本。
当前焦点与观察点
AdamW 目前仍是大模型训练的工业基线，其生态成熟、超参数经验充足，短期内被完全取代的可能性不高。但 Muon 类谱方法优化器在语言模型预训练上的表现持续得到验证，衍生出 MeqMuon 等变体，也开始扩展到状态空间模型等架构。观察点主要有三：一是新优化器在更大规模和更多架构上的可复现性；二是优化器状态量化、低秩化等压缩技术能否让 AdamW 在显存受限场景继续延寿；三是持续学习等细分场景（如面向在线持续学习的 SPIN）是否会催生专用优化器。整体来看，AdamW 正从