#理论分析

做生成模型理论研究的人可以看看这篇。它回答了 Consistency models 这类单步生成器为什么有效：在低维曲面加高斯噪声的数据假设下，误差界不随维度爆炸。这是首个绕开维度灾难的单步生成器理论分析。

这篇论文把浅层 ReLU^k 网络的逼近误差和参数几何量 h 与分离距离 h̲ 直接挂上钩，还给出 Gram 矩阵谱和系数稳定性的估计。做理论或想搞懂为什么收敛速率能反映目标函数正则性的人可以看看，比单纯跑实验的逼近论文扎实。

这篇论文用理论推导拆解了卷积网络两大核心假设：c=0 时权重共享只带来 P 倍加速，c>0 时局部连接反而可能更好，结论挺反直觉。

想搞懂 Scaling Law 为什么长那样的人看这篇：它把损失下降拆成几何、谱、优化三步推导，emergence 和 grokking 也讲清楚了。

这篇论文用数学方法搞清楚了Transformer在归纳推理任务中怎么学习不同策略，还解释了in-context和in-weights学习谁赢跟数据统计有关，挺有启发性。

这篇论文讲了Transformer的理论短板——表达性研究够了，但学不学得会还不知道。他们用C-RASP给出了样本复杂度的初步界限，对想深挖模型理论的人很有用。

这篇论文分析了连续随机消耗下在线资源分配的遗憾理论，给出了具体的下界和上界，还拿两个常见分布举例说明p值怎么算，挺实用。

这篇论文从理论上搞清楚了持续学习中同质深度网络的收敛性质，比之前只分析线性模型或单任务模型的结果更通用。

这篇论文把合成数据增强对不平衡分类的效果掰开了讲：模型对的时候加数据没提升，模型错的时候加数据有救但别指望线性增益。

这篇论文用理论证明告诉你，为什么光靠提示词调教，LLM永远无法解决所有任务，别盲目相信'万能模型'的宣传。

这篇论文用置信带兜底，保证模型更新不会越改越差，适合需要稳妥迭代的场景。

Muon为何能训练Transformer？

新策略搞定图结构非线性关联

这篇论文为SAE的可解释性提供了理论根基，做可解释AI或模型控制的开发者可以直接参考其结论来设计更可靠的SAE变体。

偏好反馈是 RLHF 的核心，但理论分析一直稀缺。这篇论文把核 MDP 和偏好学习结合，给出了亚线性遗憾界，做理论强化学习或 RLHF 算法设计的研究者值得细读。