优化器是深度学习中决定模型参数如何沿梯度方向更新的核心算法，直接关系到训练速度、稳定性与最终效果，是当前大模型研发中备受关注的底层技术之一。自 Adam 长期占据主导地位以来，Muon 等新兴优化器的出现正在重塑这一领域的格局。近期多篇论文显示，优化器研究正从单一算法设计转向统一理论框架与条件适配分析。
优化器近期进展
当前焦点与观察点
近期优化器研究的争议核心在于 Muon 能否取代 AdamW 成为预训练默认选择。理论和基准测试都表明，答案取决于模型规模、架构与超参设置，不存在普适最优解。此外，AdamX 结合余弦相似度、曲率条件多尺度动量方法 加速 LLM 预训练等工作，显示新算法仍在持续涌现。值得观察的趋势有三点：一是统一理论框架能否解释并指导算法设计；二是内存效率类优化器（如 TACO）在大模型微调中的落地程度；三是 尺度不变优化稳定性 等基础性质研究能否反哺主流算法改进。结合 Qwen 模型架构升级 等工业动态，头部厂商对优化器选型的调整或将成为下一个值得跟踪的信号。