泛化误差相关 AI 资讯 · AITOP · AI热报

8月31日

11:42

11:42

官方账号arXiv cs.LG@Lorenzo Rizzi, Arie Wortsman Zurich, Bruno Loureiro

该研究分析了各向异性高斯数据下的核脊回归，其中输入协方差以指数α≥0的幂律衰减。研究推导出核谱和泛化误差的渐近精确表达式，揭示了各向异性如何重塑学习曲线。对于弱各向异性(0<α<1)，问题保持高维特性，方差在整数样本复杂度κ∈N处达到峰值，但随α增长而逐渐减弱。对于强各向异性(α>1)，问题有效维度恒定，方差不再依赖样本量。

论文核脊回归幂律各向异性泛化误差

推荐理由：这篇论文揭示了数据各向异性如何影响核脊回归的学习曲线，对理解高维机器学习理论有重要价值。

6月16日

11:03

11:03

官方账号arXiv cs.LG@Abdul-Rauf Nuhu, Parham M. Kebria, Vahid Hemmati, Mahmoud N. Mahmoud, Edward Tunstel, Abdollah Homaifar

现有深度学习模型泛化误差上界往往过于松散，尤其在0-1损失下。本文提出基于局部鲁棒性与稳定性的新泛化界，通过按输入空间子区域中稳定与不稳定样本数量缩放鲁棒项。在ImageNet数据集上，该界保持非空且比现有方法得到更紧的上界，与多个鲁棒深度神经网络的真实性能紧密对齐。

论文泛化误差鲁棒性 ImageNet

推荐理由：这篇论文提出了更紧的深度学习泛化误差上界，在ImageNet上比现有方法更准，值得一看。