模型

Stanford Marin 开源 Mochi 535B-A23B 全部 57 个预训练中间 checkpoint

精选理由

预训练研究者的好素材:Marin 把 535B-A23B 从头训到长上下文阶段的 57 个 checkpoint 全放了,能直接看能力随 token 数怎么涨。想研究 base model 评测、scaling 规律的人可以下载对比,比只拿最终模型有参照价值。

Stanford Marin 团队发布了 MoE 模型 Mochi 535B-A23B 预训练过程中的全部 57 个中间 checkpoint,其中 10 个来自长上下文扩展阶段。这些 checkpoint 基于总计 18.2T tokens 的预训练数据,权重体积约 61 TB,托管在 Hugging Face 的 open-athena 组织下。配套博客发布在 openathena.ai,说明了各阶段的训练细节。

正文

这批中间 checkpoint 的价值在于让研究者可以逐阶段对比模型能力的变化轨迹,解决 base model 评测缺乏参照点的问题。阿里 Qwen 团队的 Justin Lin 转发时也提到,base model 如何评测一直是该领域的难题,这类逐阶段样本对评测研究很有帮助。61 TB 的开源权重对算力有限的团队门槛不低,但适合做 scaling 曲线分析、数据配比消融和长上下文阶段对比等预训练研究。

原文 · Junyang Lin

how to eval a base model has been a daunting issue in this field, so if u can share more insights about this that might be even more helpful David Hall @dlwh We’re releasing all 57 intermediate checkpoints from Marin “Mochi” 535B-A23B pretraining, including 10 from long-context extension. 18.2T tokens, about 61 TB of weights. huggingface.co/open-athena/Ma… Blog: openathena.ai/blog/marin-moc… 🔗 View Quoted Tweet📊 5 ⚡

产业坐标与信源核验

本条情报归属 AITOP「模型」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Marin、Mochi、开源模型、预训练,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Junyang Lin」(@JustinLin610),经 AITOP 多维评分管线结构化提炼。