#学习动力学

Grokking 不玄了：这篇论文给出触发条件和平台期长度公式，还配了实验验证，做理论的可对照。

这篇论文用数学方法搞清楚了Transformer在归纳推理任务中怎么学习不同策略，还解释了in-context和in-weights学习谁赢跟数据统计有关，挺有启发性。