#weight decay

共 2 条 · 7 天 0 条 · 30 天 0 条

grokking 1 learning rate 1 neural networks 1 NTK 1 scale-invariant optimization 1 优化器 1 可解释性 1

信息流里打上「weight decay」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月23日

论文精选10:13

谱理论解释 grokking 现象：weight decay 驱动特征学习

研究 grokking 为什么突然泛化的论文，理论算出 grokking 时间由学习率乘 weight decay 决定，还用上千个网络验证了，做可解释性的可以看看。

#grokking #weight decay #NTK #可解释性

arXiv cs.LG@Lenz Pracher 等 5 人原文

9月9日

论文 Agent 与开发者精选73°13:25

尺度不变优化稳定性研究

这篇论文揭示了神经网络训练中学习率与权重衰减的精确相互作用规律，能直接控制训练过程。

#scale-invariant optimization #weight decay #learning rate #neural networks

arXiv cs.LG@Hasan Amin 等 3 人原文