Stanford Marin 开源 Mochi 535B-A23B 全部 57 个预训练中间 checkpoint
预训练研究者的好素材:Marin 把 535B-A23B 从头训到长上下文阶段的 57 个 checkpoint 全放了,能直接看能力随 token 数怎么涨。想研究 base model 评测、scaling 规律的人可以下载对比,比只拿最终模型有参照价值。
预训练研究者的好素材:Marin 把 535B-A23B 从头训到长上下文阶段的 57 个 checkpoint 全放了,能直接看能力随 token 数怎么涨。想研究 base model 评测、scaling 规律的人可以下载对比,比只拿最终模型有参照价值。