Fisher information

Fisher information（费舍尔信息）是统计学中衡量观测数据对未知参数所含信息量的核心量，定义为对数似然函数对参数的二阶导数期望，其逆矩阵给出参数估计的 Cramér–Rao 下界。在机器学习中，它被广泛用于参数敏感性分析、模型压缩、持续学习中的遗忘控制，以及泛化能力度量等方向。

Fisher Information 近期进展

Fisher信息可用于分离神经网络中的泛化与记忆：一项理论研究提出，可以用 Fisher 信息在参数空间中将神经网络的泛化行为与记忆行为区分开，为理解大模型的泛化机制提供了新的分析工具。

OVDU：面向视觉语言模型的开放词表域遗忘协议：该工作将 Fisher 信息类方法应用于视觉语言模型的域遗忘任务，在开放词表设定下评估如何定向移除特定域知识而不损伤其他能力。

Optimal Low-Rank Quantum State Tomography with Bounded-Sample Joint Measurements：在量子态层析中，Fisher 信息被用于刻画有限样本联合测量下的最优低秩重建，连接了经典统计估计理论与量子测量设计。

A Complexity Measure for Active Learning in Multi-group Mean Estimation：研究基于信息量的复杂度度量来指导多组均值估计中的主动学习样本选择，体现了 Fisher 信息思想在数据获取策略中的延伸。

近期讨论集中在三个方向。其一，Fisher 信息正从经典估计理论工具转变为分析深度模型的诊断量——上述泛化与记忆分离的研究表明，它有望解释大模型“记住训练样本”与“学到规律”之间的边界，这对数据隐私和版权审计有潜在意义。

其二，在持续学习与机器遗忘场景中，基于 Fisher 信息的正则化（如 EWC 类方法）是保护旧知识的主流手段之一，但其在视觉语言模型等大规模多模态系统上的可扩展性和精度仍是开放问题，OVDU 协议即在此背景下提出了标准化评测。

其三，Fisher 信息在大参数量模型上的计算成本高，实践中常依赖对角近似或经验 Fisher 替代，这种近似带来的偏差尚未有统一结论。观察者可关注后续工作是否能在理论性质与工程可行性之间给出更明确的折中方案，以及 Fisher 信息类度量能否成为大模型评估的常规指标。