学习动力学是机器学习理论的一个分支,研究神经网络在训练过程中参数如何随时间和梯度更新逐步演化,目的是解释模型“学到了什么、何时学会、为何泛化”的底层机制。它与优化理论、统计物理和表征学习交叉,近年来随着大模型的可解释性需求上升,逐渐从纯理论走向对实际训练现象的定量刻画。
学习动力学的近期进展
当前焦点与观察点
目前学习动力学研究的重心可以概括为三点:一是从理想化的无限宽度理论转向有限宽度、真实规模的描述,介观方法是其中的代表;二是对 grokking、延迟泛化等非平稳现象给出可预测的条件和时长,而不只是事后解释;三是把动力学分析与 Transformer 等架构上的具体任务(如归纳推理)结合,检验理论结论能否迁移到实际训练中。
值得观察的方向包括:这些动力学描述能否用于预测训练中的突变点,从而指导超参数选择或提前止损;以及基于权重演化几何的度量结构,能否成为比较不同模型、不同训练阶段的新工具。总体来看,该领域仍以 arXiv 上的理论工作为主,距离直接服务于工程训练实践还有一定距离,但其结论正逐步与可解释性研究形成呼应。