StanfordAILab发布Marin 535B-A23B模型训练消息
StanfordAILab发布了Marin 535B-A23B模型的训练消息，这是他们迄今为止最大的训练项目，值得关注。
#大规模训练
共 4 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「大规模训练」标签的资讯、产品与论文，按刊登时间排，新的在上。
8月24日
7月27日
NVIDIA新研究：AdamW存在规模上限，SOAP和Muon在大规模训练中更优
NVIDIA找到AdamW的短板了，批量干到1亿tokens它就崩，但SOAP和Muon依然稳，还解决了训练崩溃的毛病，训大模型可以看看这个。
5月18日
ML-FOP-SOAP：二阶优化器解决多模态模型模态竞争问题
多模态模型训练中模态竞争是常见痛点，做多模态预训练或大batch训练的团队可以直接参考这个二阶优化方案，能显著提升训练效率和稳定性。
5月13日
Moonshot AI 发布 Muon 优化器大规模训练实践报告
Muon 优化器有望替代 AdamW 成为大模型训练的新标配，做预训练或微调的团队值得关注其收敛速度和资源节省效果。