#优化算法

做 GAN、对抗训练这类 minimax 优化的人应该看看这篇。它用正交化更新加自适应步长，解决了 SGDA 系方法对步长调参极敏感的问题，且 AdaSGDA-VR 的 O(T^-1/3) 收敛率比常见基线更快。

训练 PINN 时总有一项损失压不住？这篇把 Adam 里各任务的贡献演化讲透了，还给出 GMAdam 这个即插即用的改法，实验里比 AdaTask 更准。

这篇论文把 Muon、Shampoo 这类优化器背后的非欧氏几何做了严格理论化，还给出半异步分布式版本的时间复杂度分析，做优化理论研究的话很值得细看。

把演化策略的更新看作物理重心移动，梯度估计突然变得好懂了，做 ES 优化的人可以看看这篇。

双层优化以前要求下层强凸，这篇给了两个 Newton 方法放宽到 Hessian 奇异也能跑，还拿 GPT-2 数据重加权做了实验，搞优化的可以看看。

一篇研究怎么攻击 LLM Agent 的论文，把梯度方法和无梯度方法按顺序组合起来，比单用一种效果好，做安全评测的可以看看。

这篇论文把 LLM 塞进优化器里当决策规划器，替代人工设计的启发式规则，用 DeepSeek 做的版本在 5 种场景里都进前二，思路挺有意思。

MIT团队提出ZFO框架，用更少的计算量解决大模型微调步长选择难题，代码已开源。

NorMuon论文解析了行归一化在理论保证与实践表现间的矛盾，对理解LLM优化很有价值。

联邦学习又出新优化思路：让所有客户端沿同一条预测路径算梯度，通信量和 FedAvg-M 一样但聚合方向是无偏的，还附理论收敛证明，做分布式训练的可以看看。

优化圈的朋友看看这篇：把预条件子交给神经网络学，内点法解非线性规划能省掉 Hessian 和牛顿求解，warm start 直接砍掉六成多迭代。

这篇论文提出了在线学习和博弈中的最优交替遗憾算法，对于在线线性优化和在线凸优化领域的研究具有重要意义，特别是对于收敛速度和下界的研究。

这篇论文用AlphaEvolve把矩阵乘法指数上界刷到2.371177，比原来的2.371339又进一步，算法优化思路值得看看。

这篇论文把连续优化理论的收敛证书精确传递到离散算法，用接触哈密顿系统给出通用框架，二次重球例子很透彻。想理解优化加速机制可以读。

这篇论文证明了Bregman ADMM在非凸非Lipschitz优化中几乎必然收敛到二阶KKT点，解决了传统方法无法处理多项式目标的问题，对矩阵分解等应用有实际指导意义。

这篇论文提出了首个可实现的泛函梯度下降算法，能自适应调整梯度表示，理论上有收敛保证，实验上比传统FGD和神经网络更快更准。

Muon为何能训练Transformer？