论文10:33正交约束对语言模型预训练帮助有限:系统性研究指向球面优化研究者在 200B tokens 规模上复检了正交约束的各种玩法,结论是真正起作用的只是球面优化,还顺手拆穿了 5 个先前方法的增益来源。#Muon#球面优化#预训练#LLMaarXiv cs.LG@Kai Hu 等 5 人原文稍后读已读值得跟进有用关注 Muon