#退火

一篇给学习率调度补上理论根基的论文：作者证明对一类常见非凸函数，衰减学习率的 SGD 比固定学习率少指数级多的梯度查询，靠的是弱 Poincaré 不等式加退火采样。做优化理论或调参的读者值得看证明思路。