全部动态

AI 相关资讯全量信息流 · 783 条
5月26日
5月25日
5月23日
5月22日
5月21日
5月20日
5月19日
论文精选11:10
对称性兼容优化器设计原则:嵌入层、LM头、SwiGLU MLP与MoE路由器

这篇论文解决了深度学习优化器忽视架构对称性的根本问题,做大规模语言模型预训练的团队值得关注——它可能成为替代AdamW的新范式,实验显示能稳定提升损失和训练稳定性。

arXiv cs.LG@Tim Tsz-Kit Lau, Weijie Su原文