curvature(曲率)在机器学习语境下指损失面或数据空间弯曲程度的几何量,是理解模型优化行为的重要工具。近年研究中,曲率被用于解释优化器设计、改进扩散模型采样等方向,成为连接微分几何与深度学习的热点概念之一。
曲率相关研究进展
当前焦点与观察点
从近期文献看,curvature 的讨论主要集中在两条线:一是作为优化器设计的理论依据,学界在争论二阶/曲率信息在大规模训练中是否值得额外开销;二是作为生成模型中的正则化手段,用于约束采样轨迹的平滑性。争议点在于曲率计算成本高,实用收益是否稳定仍缺乏一致结论。后续值得关注的信号包括 Muon 类优化器在实际训练中的落地效果,以及曲率约束方法能否推广到更多生成任务。