灾难性遗忘（catastrophic forgetting）指神经网络在学习新任务时，因参数被新数据覆盖而迅速丧失旧任务能力，是大模型微调与持续学习领域的核心难题。随着模型规模扩大和微调需求激增，如何在不重训全模型的前提下保留旧知识，已成为工程落地与研究的热点。
灾难性遗忘的近期研究进展
近期多篇工作从不同角度切入这一问题。一项研究分析了 LoRA 微调中的“入侵阈值”，提出一种基于谱分布的定律，用以刻画低秩适配在什么条件下会干扰原有能力（LoRA微调中的入侵阈值：一种谱分布定律）。另一项工作聚焦子空间调优（Subspace Tuning），通过限制参数更新落在特定子空间来缓解遗忘，属于结构化约束路线（Towards Continual Learning: Mitigating Forgetting With Subspace Tuning）。
在大模型方向上，有研究尝试对 LLM 内部的功能子网络进行定位，让持续学习只作用于相关子网络，从而降低训练开销与遗忘风险（Functional Subnetwork Localization for Efficient Continual Learning in Large Language Models）。持续学习中的知识合并策略也在演化，一项对比研究指出离策略合并（off-policy merging）在持续学习场景下优于在策略自蒸馏（Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning）。
当前焦点与观察点
值得注意的一个新视角是“遗忘未必都是灾难”。有研究专门讨论了“虚假遗忘”（spurious forgetting）的机理，认为部分能力损失可能与数据质量或表达问题有关，而非单纯的参数覆盖（When Forgetting is not Catastrophic: On the Mechanics of Spurious Forgetting）。在翻译等垂直任务上，另一篇论文提醒：通用的遗忘缓解手段并不总能保住特定指令跟随能力，说明缓解策略存在任务特异性（Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following）。
工程实践层面，主流云厂商也在推广数据侧方案。AWS 机器学习博客介绍了监督微调前的数据配比与回放等进阶策略，把缓解遗忘视为数据工程问题而非纯算法问题（Preparing data for supervised fine-tuning Part 2: Advanced data strategies）。
总体看，当前对灾难性遗忘的应对呈现三条并行路线：参数约束与子空间/子网络方法、基于合并与回放的数据策略，以及对“遗忘”概念本身的再审视。未来一段时间，能否在具体任务上给出可复现、低成本的遗忘度量标准，可能比提出新的缓解算法更值得关注。