Newton-Schulz 是一种通过迭代矩阵乘法逼近矩阵正交化（或求逆）的数值方法，近年来因被用于深度学习优化器中的梯度正交化而重新受到关注，目前在大模型训练与视觉 Transformer 研究中处于快速升温的探索阶段。它本身并非新算法，但凭借只需矩阵乘法、易于在 GPU 上并行实现的特性，成为 Muon 等新型优化器的核心组件之一，围绕其迭代次数、数值稳定性和适用范围的讨论也在增多。
Newton-Schulz 近期进展
2026 年 9 月发布的一项工作提出 NS-Attn，将 Newton-Schulz 迭代用于注意力输出的正交化处理，在 ViT 类模型上报告了准确率提升，说明该方法正从优化器内部扩展到网络结构的激活变换环节（NS-Attn：用 Newton-Schulz 变换注意力输出提升 ViT 准确率）。
2026 年 8 月的工作 MALT 则把 Newton-Schulz 与曲率感知结合起来，做成一款轻量级 Muon 优化器，试图在保留正交化收益的同时降低计算与显存开销，反映出研究者正在针对该方法的成本问题做工程化改良（MALT：轻量级曲率感知Muon优化器）。
同月另一篇论文把 Muon 风格的谱优化引入 Mamba 状态空间模型，其中同样依赖 Newton-Schulz 类的迭代完成梯度或参数的谱修正，表明这一数值工具的使用场景正从 Transformer 向状态空间架构迁移（Muon相遇Mamba：状态空间模型的谱优化）。
当前焦点与观察点
围绕 Newton-Schulz 的讨论集中在两方面：一是迭代次数与精度的权衡，步数太少正交化不充分，步数太多则抵消了它相对精确 SVD 的速度优势；二是它在大规模训练中的数值稳定性，尤其是低精度训练下的误差累积。近期几项工作分别从注意力层、优化器轻量化和非 Transformer 架构切入，说明社区已不满足于只在 Muon 中默认使用它，而是开始系统性评估其收益边界。下一步值得观察的是，这些方法能否在更大规模、更多模态的任务上复现准确率与效率上的优势，以及是否有统一的实现库来降低复现门槛。