#Kolibri

共 4 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Kolibri」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月18日
预训练新趋势:放弃学习率衰减,改用恒定学习率加检查点平均

Sebastian Raschka 把主流模型的 LR 调度分成了三代:余弦、WSD,再到 Kolibri 和 DatologyAI 的恒定 LR 加检查点平均。好处是训练长度可以晚点定,不用提前押注。自己跑预训练或做复现的人值得看看这个分类。

官方账号Sebastian Raschka@rasbt原文
10月5日
10月4日