Grokking是深度学习中一种特殊的泛化现象，指神经网络在训练过程中经历长时间训练后突然表现出良好泛化能力的过程。这一现象最初于2021年被发现，当时研究者注意到神经网络在训练集上的误差已经很低，但在测试集上误差仍然很高，直到训练后期才突然下降。近年来，随着大模型研究的深入，grokking现象成为理解神经网络泛化机制的重要窗口。
Grokking 近期进展
当前焦点与观察点
当前grokking研究主要关注其数学解释和实际应用价值。田渊栋指出，大模型还不是科学，但grokking现象的研究为理解AI自我进化提供了线索。研究者正在探索grokking与特征学习、无标签不变性的关系，以及其在单层脉冲神经网络中的应用。随着研究的深入，grokking现象可能为构建更高效的深度学习模型提供理论基础。