有限智能如何应对无限环境:一项数学理论
一篇硬核理论论文,把"模型不用记住所有数据也能应付未知任务"这件事写成了严格的数学框架,还给出了 coordinate 和 parity 任务族率失真曲线不同的具体例子。做表示学习、信息瓶颈或泛化理论研究的值得花时间读。
一篇硬核理论论文,把"模型不用记住所有数据也能应付未知任务"这件事写成了严格的数学框架,还给出了 coordinate 和 parity 任务族率失真曲线不同的具体例子。做表示学习、信息瓶颈或泛化理论研究的值得花时间读。
有人用 k-NN 分类器给神经网络算出了很紧的泛化证书,CIFAR-10 上只差 8 个点,ImageNet 上也能算出具体数字,做理论的可以看看。
这篇论文搞清了Grokking延迟的可控关键:用无标签特征族先验就能加速17倍,而且只在训练早期用一小会儿就够,比你想的简单实用。
这篇论文提出Requential Coding,码长不跟着模型大小和数据熵跑,比之前的方法短好几个数量级,还给十亿参数大模型给出了最牛的泛化保证。
理论研究者终于有了Transformer样本复杂度的紧界——VC维和思维链学习的下界都算清楚了,做深度学习理论的团队值得细读。
这篇论文从理论层面解释了为什么过参数化模型能泛化——做高维统计学习或深度学习理论的研究者,看完会对“良性过拟合”有更精确的数学理解,值得深入阅读。
理论研究者终于有了一个更精确的工具来刻画Transformer泛化——傅里叶谱视角比Rademacher复杂度更贴近实际训练行为,做深度学习理论或可解释性的同学值得细读。
这篇论文为预训练表征的维度选择提供了理论指导,做迁移学习或模型压缩的研究者可以直接参考其结论来优化训练策略。