#学习率调度

训练模型调学习率衰减的可以看看，UTA 比固定衰减曲线更聪明，能跟着训练状态走，LLaMA 和 ResNet 上都验证了，直接即插即用。

这篇论文把Hyperball优化器的机制拆开来看，发现它并不像传说中那样自动解决学习率调度问题，掌握好调度才是关键。