预训练新趋势:放弃学习率衰减,改用恒定学习率加检查点平均
Sebastian Raschka 把主流模型的 LR 调度分成了三代:余弦、WSD,再到 Kolibri 和 DatologyAI 的恒定 LR 加检查点平均。好处是训练长度可以晚点定,不用提前押注。自己跑预训练或做复现的人值得看看这个分类。
Sebastian Raschka 把主流模型的 LR 调度分成了三代:余弦、WSD,再到 Kolibri 和 DatologyAI 的恒定 LR 加检查点平均。好处是训练长度可以晚点定,不用提前押注。自己跑预训练或做复现的人值得看看这个分类。
德国公司 Aleph Alpha 把 Kolibri 权重完全开源了,Apache 2.0 许可随便用,78B 参数 MoE 架构还特意喂了 21% 德语数据。
德国人自己从零训了个开源小模型,德语成绩还压过 Qwen3.5 和 GPT-OSS,数学也够硬,编程稍弱。
德国 Aleph Alpha 出了个开源模型 Kolibri,78B 参数激活才 3.46B,上下文 100 万 token,德语数据占两成,欧洲本地化部署可以看看。