Jacobian

general · 首次出现 2026-05-23 · 最近出现 2026-11-18 · 累计提及 55

综述

Jacobian(雅可比矩阵)是描述多变量函数一阶偏导数的矩阵,在机器学习中刻画模型输出对输入或参数的敏感程度,是分析神经网络行为的核心数学工具。近年来,Jacobian 相关研究正从传统数值分析走向大模型解释、安全评估与可微分科学计算等多个方向。

Jacobian 在深度学习解释中的应用

  • 权重空间消融下的跨层交互:闭式注意力Jacobian界及Qwen2.5验证:该工作推导了闭式形式的注意力 Jacobian 界,用于量化权重空间消融时层与层之间的交互,并在 Qwen2.5 上进行了实验验证,说明大语言模型的跨层机制可以借助 Jacobian 工具做定量分析。
  • Neural Expansion 框架从训练动力学解释深度网络泛化机制:Neural Expansion 框架将训练动力学与泛化能力联系起来,其中网络输出对参数的导数结构(即 Jacobian)是刻画训练过程中函数变化的关键对象。
  • 用任务诱导黎曼度量改进 ViT 特征空间的 token 剪枝:这项研究利用任务诱导的度量来重新组织 ViT 的特征空间,其中特征对输入的敏感度分析依赖局部导数信息,为 token 剪枝提供了几何视角。
  • Jacobian 视角下的模型安全与检测

  • JADR协议:通过J-Space比较不同模型与量化级别的危险识别:JADR 协议提出在 J-Space 中比较不同模型及其量化版本,用于识别危险行为差异。这表明 Jacobian 空间被用作模型安全对齐的评估坐标系,量化压缩是否破坏了模型的安全边界。
  • 平滑PAC-Bayes界去随机化方法:该工作研究平滑化 PAC-Bayes 泛化界的去随机化,其中平滑性通常通过对函数梯度和 Jacobian 范数的控制来保证。
  • Flownomaly:基于 DINOv2 的单步少样本工业异常检测方法:Flownomaly 展示了单步前向即可完成异常打分的可行性,这类方法与传统基于 Jacobian 的密度或流模型异常检测形成对比,反映该领域在效率与理论保障之间的取舍。
  • 当前焦点与观察点

    目前 Jacobian 相关工作的焦点可以归纳为三点。其一是可扩展性:对千亿参数模型计算完整 Jacobian 不可行,因此闭式界、稀疏估计和 J-Space 式的替代表征成为主流思路。其二是安全性:量化、剪枝等压缩操作会改变模型的局部敏感度结构,用导数层面的工具检验安全属性正在成为新方向。其三是与可微分科学计算的融合,如大气化学中的可微动力学预处理,说明 Jacobian 计算在传统科学领域仍有持续需求。

    另一个值得关注的信号是数学推理能力的验证:有报道提到 Fable LLM 发现了 Jacobian 猜想相关的反例结果。Jacobian 猜想是多项式映射是否可逆的经典未解难题,如果模型确实能在此类问题上给出有意义的构造,将说明数学推理与核心数学对象的结合进入新阶段,不过此类声明仍需数学界严格验证。

    总体来看,Jacobian 作为连接微积分与深度学习的桥梁概念,正在大模型时代被重新定义使用方式——从显式计算转向结构性界与表征空间的比较,这一趋势值得持续关注。

    相关报道

    10 条在档