#曲率条件

共 1 条 · 7 天 0 条 · 30 天 0 条

LLM 1 Muon 1 优化器 1 预训练 1

信息流里打上「曲率条件」标签的资讯、产品与论文，按刊登时间排，新的在上。

8月31日

论文精选73°09:09

曲率条件多尺度动量加速LLM预训练

新方法让Muon优化器在LLM预训练中跑得更快，尤其擅长沿着平坦方向加速训练。

#LLM #Muon #预训练 #优化器

arXiv cs.LG@Shuchen Zhu 等 4 人原文