Null-Space

general · 首次出现 2026-05-22 · 最近出现 2026-10-23 · 累计提及 5

综述

Null-Space(零空间)指线性代数中矩阵将输入映射为零输出的向量集合,在机器学习研究中正成为控制模型行为、实现精准遗忘与结构恢复的重要工具——通过对特定子空间做投影或约束,研究者可以在不重训模型的前提下修改或删除某些能力。这一思路近期的价值在于:它把模型干预问题转化为寻找“最小影响路径”,即只改动与目标行为相关的分量,而让其他能力落在零空间中保持不变。

Null-Space 近期进展

  • PaSS:用迭代零空间投影提取人格子空间,实现 LLM 行为控制:该工作提出迭代式零空间投影方法,从大模型内部提取“人格”对应的子空间,用以解释并控制模型的性格化行为。这代表 Null-Space 方法从静态分析走向了可操作的模型行为调控工具。
  • Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution:研究聚焦机器遗忘的持久性问题,借助电路归因将需要遗忘的知识定位于特定参数方向,并通过量化使其永久失效,可视为对零空间式“定向删除”思路的延伸与补充。
  • Consecutive Posterior Fusion for Diffusive Recovery of Unobservable Image Structures:在生成与恢复方向上,该工作针对不可观测图像结构的扩散恢复提出连续后验融合方法,与零空间约束在“补全缺失信息”的目标上形成呼应。
  • 当前焦点与观察点

    从这三项工作看,Null-Space 相关研究的共同关切是“干预的精确性与持久性”:行为控制希望改动尽可能小,遗忘希望删除得足够彻底且不可逆。争议点也随之而来——遗忘的永久性可能被滥用于不当删除信息,而行为子空间的操控则牵涉模型对齐与安全性。后续值得观察的方向包括:零空间投影是否能在更大规模模型上保持稳定,以及这类几何化干预能否形成可复现的标准评测基准。

    相关报道

    4 条在档