预训练新趋势:放弃学习率衰减,改用恒定学习率加检查点平均
Sebastian Raschka 把主流模型的 LR 调度分成了三代:余弦、WSD,再到 Kolibri 和 DatologyAI 的恒定 LR 加检查点平均。好处是训练长度可以晚点定,不用提前押注。自己跑预训练或做复现的人值得看看这个分类。
Sebastian Raschka 把主流模型的 LR 调度分成了三代:余弦、WSD,再到 Kolibri 和 DatologyAI 的恒定 LR 加检查点平均。好处是训练长度可以晚点定,不用提前押注。自己跑预训练或做复现的人值得看看这个分类。
训练模型调学习率衰减的可以看看,UTA 比固定衰减曲线更聪明,能跟着训练状态走,LLaMA 和 ResNet 上都验证了,直接即插即用。