#kernel machines

这篇论文用核机器的谱分解把 ICL 的泛化和记忆讲成同一解的不同截断，思路很新颖。它还证明没有特征学习的模型也能做 ICL，并用高阶统计量解释了 transformer 的记忆行为。做理论研究和理解 ICL 机制的研究者应该看看。