directional(方向性)是机器学习研究中描述向量、更新或表征在空间中“朝向”性质的术语,近年从几何直觉逐渐演变为解释和改进模型行为的一类研究视角。它与传统的幅值(magnitude)分析相对,关注参数更新、特征表示和信息流动的方向结构,在强化学习探索、Transformer 表征演化、泛化理论等方向均有落地。
Directional 方法的近期进展
当前焦点与观察点
目前 directional 相关研究集中在三个问题:一是把方向性作为可解释工具,拆解大模型内部表征如何随训练变化;二是把它变成约束或正则手段,改善强化学习的探索效率与安全性;三是在泛化理论中检验方向信息是否是结构化泛化的必要条件。争议点在于,方向性分析多在特定任务或小规模设置下验证,能否推广到大规模预训练模型仍缺乏共识。值得观察的是,随着机制可解释性研究升温,directional decomposition 这类几何化分析框架是否会成为社区的标准工具之一。