#NTK

共 3 条 · 7 天 0 条 · 30 天 2 条

grokking 1 Hessian 1 LIGHTYEAR 1 ReLU网络 1 weight decay 1 个性化聚合 1 优化理论 1 可解释性 1

信息流里打上「NTK」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月8日

Hessian 特征值聚类之谜：对称性破缺理论给出统一解释

训练好的模型 Hessian 谱总长那样？这篇论文用对称性破缺把聚簇和离群值一次讲清楚，还覆盖 transformer 和 NTK。

#Hessian #NTK #ReLU网络 #优化理论

arXiv cs.LG@Yossi Arjevani原文

9月23日

论文精选10:13

谱理论解释 grokking 现象：weight decay 驱动特征学习

研究 grokking 为什么突然泛化的论文，理论算出 grokking 时间由学习率乘 weight decay 决定，还用上千个网络验证了，做可解释性的可以看看。

#grokking #weight decay #NTK #可解释性

arXiv cs.LG@Lenz Pracher 等 5 人原文

8月13日

LIGHTYEAR：基于NTK的联邦学习个性化聚合新框架

联邦学习遇到非独立同分布数据时，LIGHTYEAR用NTK判断哪些更新对你有用，比单纯比参数靠谱，五个数据集上都赢了。

#LIGHTYEAR #联邦学习 #NTK #个性化聚合

arXiv cs.LG@Mirko Konstantin 等 3 人原文