#SGD

搞分布式训练的可以看看这篇：它证明了裁剪过的去中心化 SGD 在重尾噪声下收敛率最优，还首次给出了线性加速证明，并解释了为什么裁剪比归一化更适合去中心化场景。

论文用实际数据告诉你，数据库出错时LLM会瞎编内容，但加个简单提示就能把幻觉砍掉一半。不用重训模型，看各家的差距有多大。

这篇论文分析了SGD和Adam训练中Hessian特征向量的不同行为，发现Adam会让少量参数主导曲率方向，直观解释了为什么两种优化器训练结果不同。

做深度学习训练调参的开发者，这个动态p范数方案解决了ℓ₂和ℓ∞范数的极端问题，直接替换SGD就能提升泛化，值得在CIFAR/ImageNet任务上试试。