Gauss-Newton（高斯-牛顿法）是一种源于非线性最小二乘问题的经典优化算法，在深度学习中常作为二阶优化的基础框架：它利用雅可比矩阵近似 Hessian 的信息结构，从而比一阶方法更精准地刻画损失曲面的局部几何。近年来，围绕其近似性质的理论解释与在大规模训练中的工程化落地，重新成为优化研究的热点。
Gauss-Newton 近期进展
当前焦点与观察点
目前关于 Gauss-Newton 的讨论集中在三个方向。其一是理论层面：Hessian 谱的聚类结构究竟在多大程度上可以用对称性等结构性原因刻画，直接影响对二阶方法有效性的判断。其二是应用层面：PINN 等病态问题被视为 Gauss-Newton 方法的天然试验场，能否在更大规模模型上复制这类收益仍待验证。其三是工程层面：完整的二阶方法计算与存储开销高，社区普遍采用 Kronecker 分解、低秩近似等折中方案，这类近似与精确 Gauss-Newton 更新之间的性能差距是持续争议点。总体来看，Gauss-Newton 正从经典数值分析工具，逐步演化为理解深度学习曲率几何与设计可扩展优化器的参照框架，其在基础模型训练中的实用性仍有待更多实证支撑。