论文15:54
研究证明学习率衰减可让 SGD 全局优化指数级加速一篇给学习率调度补上理论根基的论文：作者证明对一类常见非凸函数，衰减学习率的 SGD 比固定学习率少指数级多的梯度查询，靠的是弱 Poincaré 不等式加退火采样。做优化理论或调参的读者值得看证明思路。
#非凸优化
共 9 条 · 7 天 1 条 · 30 天 2 条
信息流里打上「非凸优化」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月10日
11月3日
非凸分布采样新算法：超越对数凹性的近端采样复杂度分析
理论向的文章：作者改进了近端采样器在非凸密度下的查询复杂度，LSI 条件下得到次多项式查询上界，还证明了 PI 情形的 oracle 下界。做采样理论的朋友可以看看证明思路。
9月28日
8月7日
SG-TULA：非凸非光滑采样的驯化次梯度算法
新采样算法SG-TULA能处理非光滑非凸问题，在GPT-2预训练上干赢了AdamW和Muon，还带理论保证。
7月29日
MC-ALFCG：马尔可夫采样下非凸复合优化的方差缩减条件梯度方法
这篇论文搞了个新方法MC-ALFCG，专门对付马尔可夫链采样下的非凸优化，理论复杂度给得很细，数值实验也做了，搞优化算法的可以看看。
6月29日
论文10:15
Bregman ADMM在非凸非Lipschitz优化中的二阶KKT保证这篇论文证明了Bregman ADMM在非凸非Lipschitz优化中几乎必然收敛到二阶KKT点，解决了传统方法无法处理多项式目标的问题，对矩阵分解等应用有实际指导意义。
6月23日
6月15日
5月19日
AdaGrad 在重尾噪声下收敛性首次证明
理论研究者终于有了 AdaGrad 在重尾噪声下的收敛保证，做优化算法分析的人值得关注——它解释了为何 Adam 等自适应方法在真实场景中表现稳健，且无需额外操作。