Jacobian(雅可比矩阵)是描述多变量函数一阶偏导数的矩阵,在机器学习中刻画模型输出对输入或参数的敏感程度,是分析神经网络行为的核心数学工具。近年来,Jacobian 相关研究正从传统数值分析走向大模型解释、安全评估与可微分科学计算等多个方向。
Jacobian 在深度学习解释中的应用
Jacobian 视角下的模型安全与检测
当前焦点与观察点
目前 Jacobian 相关工作的焦点可以归纳为三点。其一是可扩展性:对千亿参数模型计算完整 Jacobian 不可行,因此闭式界、稀疏估计和 J-Space 式的替代表征成为主流思路。其二是安全性:量化、剪枝等压缩操作会改变模型的局部敏感度结构,用导数层面的工具检验安全属性正在成为新方向。其三是与可微分科学计算的融合,如大气化学中的可微动力学预处理,说明 Jacobian 计算在传统科学领域仍有持续需求。
另一个值得关注的信号是数学推理能力的验证:有报道提到 Fable LLM 发现了 Jacobian 猜想相关的反例结果。Jacobian 猜想是多项式映射是否可逆的经典未解难题,如果模型确实能在此类问题上给出有意义的构造,将说明数学推理与核心数学对象的结合进入新阶段,不过此类声明仍需数学界严格验证。
总体来看,Jacobian 作为连接微积分与深度学习的桥梁概念,正在大模型时代被重新定义使用方式——从显式计算转向结构性界与表征空间的比较,这一趋势值得持续关注。