SOAP 是一种面向深度神经网络训练的拟牛顿类优化器，其核心思路是在二阶优化框架下对梯度方向做预条件处理，从而在理论上比 AdamW 一类一阶方法更快收敛。它由 SoftServe 团队提出，名称来自对二阶近似与自适应预条件的结合，目前主要出现在大规模模型训练与科学计算两类场景的研究中，尚未成为主流框架的默认优化器。
SOAP 近期进展
2026 年 10 月，SoftServe 在 arXiv 发布《深度学习可扩展拟牛顿方法》（原文标题），系统给出了 SOAP 的可扩展实现，重点解决二阶方法在参数量增大时显存与计算开销过高的问题，使其能在实用规模的网络上运行。
同期 NVIDIA 的研究指出 AdamW 存在规模上限，在超大规模训练中 SOAP 与 Muon 表现更优（原文标题）。这一结论把讨论从“能否收敛”推向“在多大参数量下仍然划算”，也让 SOAP 从学术方法变成工程选型议题。
2026 年 7 月，一篇发表于 arXiv cs.AI 的工作把 SOAP 与 Muon 用于机器学习原子间势的训练，报告了相对 Adam 的加速效果（原文标题）。这表明该优化器的适用面已从语言模型扩展到科学机器学习。
当前焦点与观察点
争议主要集中在三处：一是额外显存与每步计算成本是否被收敛加速真正抵消；二是 SOAP 与 Muon 谁更适合不同规模的模型，目前缺少统一基准；三是二阶方法的超参数敏感度是否比自适应一阶方法更难调。综述类工作也把 SOAP 列为新一代优化器的代表之一（原文标题），但尚未形成共识性结论。
观察点在于：主流训练框架是否会原生支持 SOAP；在千亿参数以上的真实训练任务中能否复现论文中的加速比；以及当批次规模、序列长度变化时其稳定性如何。这些问题决定它是长期替代 AdamW，还是只在大规模特定场景中作为备选。