Adam 是深度学习中最广泛使用的优化算法之一，由自适应矩估计而得名，通过维护梯度的一阶与二阶动量为每个参数自动调节学习率，自 2015 年提出以来一直是模型训练的默认选择。近年来，随着大模型训练对效率和稳定性的要求提高，围绕 Adam 的局限性与替代方案的研究重新活跃。
Adam 近期进展
当前焦点与观察点
当前讨论的核心是：Adam 的对角二阶动量设计在大模型时代是否已经足够。Muon、Shampoo 等基于更丰富预条件结构的方法在部分训练任务上展现出效率优势，而统一框架类工作（如 MN）则试图解释这些差异的数学本质，而非单纯追求经验指标。
值得关注的观察点包括：一是新优化器能否在超参数无需精细调优的情况下稳定超越 Adam，这决定了其能否被工程团队大规模采纳；二是内存高效变体（如 8-bit 状态、低秩更新）与结构化预条件方法的结合是否会成为默认配置；三是 RL 后训练与微调场景对优化器状态显存的需求，正在推动 LoGRA 这类系统层面的配套改进。总体来看，Adam 短期内仍会保持主流地位，但其在理论解释与替代方案上的地位正在被重新审视。