遗忘（forgetting）指机器学习模型在学习新任务、进行微调或执行定向删除时丢失已有知识的现象，是当前大模型研究中持续学习与模型卸载（unlearning）方向的核心议题。它既是要被抑制的缺陷——灾难性遗忘会让模型能力退化，也是被主动利用的机制——用于删除敏感数据或过时信息。
Forgetting 近期进展
近期研究对遗忘的本质提出了新的观察角度。一篇 arXiv 论文（https://arxiv.org/abs/2610.08718v1）提出"虚假遗忘"概念，指出微调中看似丢失的知识其实仍残留在模型中、可以被恢复，这挑战了"参数被覆盖即知识消失"的直觉，也对依赖遗忘保证数据隐私的模型卸载方案提出了质疑：如果知识可恢复，删除是否真正安全。
在抑制遗忘一侧，《Towards Continual Learning: Mitigating Forgetting With Subspace Tuning》（https://arxiv.org/abs/2610.22293v1）通过子空间调优约束参数更新范围，以缓解持续学习中的灾难性遗忘；另一篇工作（https://arxiv.org/abs/2610.04670v1）则从热带几何视角出发，提出按单元的投影方法，在微调过程中保护既有知识。
主动遗忘方向同样活跃。GUARD（https://arxiv.org/abs/2609.21677v1）针对大型推理模型，通过引导答案-推理蒸馏实现"自然遗忘"；Layer-Selective Unlearning（https://arxiv.org/abs/2609.10439v1）尝试只对特定层做选择性卸载，以降低对无关能力的附带损伤。此外，《Scaling Discovery Requires Forgetting》（https://arxiv.org/abs/2610.20563v1）甚至主张遗忘是规模化科学发现的必要条件，把它从缺陷重新定义为能力。
当前焦点与观察点
当前争论的核心在于：遗忘到底是真实发生还是只是可逆的表征变化。如果"虚假遗忘"成立，依赖遗忘作为合规手段的数据删除承诺就需要重新审视；反之，若能精确控制遗忘的位置与粒度，模型卸载和持续学习的成本都将大幅下降。
另一个被低估的观察点是遗忘的领域特异性。《Fine-Tuning LLMs for Translation》（https://arxiv.org/abs/2609.28395v1）指出，通用的遗忘缓解方法并不能保住翻译等具体任务上的指令遵循能力，说明一刀切的抗遗忘方案可能失效。值得继续关注的方向包括：选择性遗忘的评估基准、知识可恢复性的安全审计，以及遗忘与推理能力之间的量化关系。