#学习率调度

共 3 条 · 7 天 1 条 · 30 天 2 条
信息流里打上「学习率调度」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月18日
预训练新趋势:放弃学习率衰减,改用恒定学习率加检查点平均

Sebastian Raschka 把主流模型的 LR 调度分成了三代:余弦、WSD,再到 Kolibri 和 DatologyAI 的恒定 LR 加检查点平均。好处是训练长度可以晚点定,不用提前押注。自己跑预训练或做复现的人值得看看这个分类。

官方账号Sebastian Raschka@rasbt原文
10月27日
7月27日