curvature

general · 首次出现 2026-05-29 · 最近出现 2026-10-16 · 累计提及 9

综述

curvature(曲率)在机器学习语境下指损失面或数据空间弯曲程度的几何量,是理解模型优化行为的重要工具。近年研究中,曲率被用于解释优化器设计、改进扩散模型采样等方向,成为连接微分几何与深度学习的热点概念之一。

曲率相关研究进展

  • 在扩散模型方向,CACFG:用曲率约束改进 CFG 高强度引导下的扩散采样 提出 CACFG 方法,针对 Classifier-Free Guidance 在高强度引导下轨迹弯曲、质量下降的问题,引入曲率约束来规整采样路径,使生成结果在强引导下仍保持稳定性。
  • 在优化器方向,Second-Order Muon Done Right: A Principled Marriage of Spectral Geometry and Curvature 尝试将谱几何与曲率信息结合,为 Muon 优化器补上二阶信息,希望兼顾一阶方法的效率和二阶方法的收敛质量。
  • 同样围绕 Muon,When Is Muon Optimal? Radial Fragility and Minimax Geometry 从极小极大几何的角度分析 Muon 何时才是最优选择,指出其在特定损失面几何结构下的脆弱性,也间接刻画了曲率对优化器表现的影响。
  • 在图学习方向,Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs 讨论从图神经网络向 MLP 蒸馏时图几何结构(包括空间弯曲性)带来的知识鸿沟,说明几何信息难以被简单模型完整继承。
  • 当前焦点与观察点

    从近期文献看,curvature 的讨论主要集中在两条线:一是作为优化器设计的理论依据,学界在争论二阶/曲率信息在大规模训练中是否值得额外开销;二是作为生成模型中的正则化手段,用于约束采样轨迹的平滑性。争议点在于曲率计算成本高,实用收益是否稳定仍缺乏一致结论。后续值得关注的信号包括 Muon 类优化器在实际训练中的落地效果,以及曲率约束方法能否推广到更多生成任务。

    相关报道

    9 条在档