灾难性遗忘

general · 首次出现 2026-05-22 · 最近出现 2026-09-01 · 累计提及 7

综述

灾难性遗忘

灾难性遗忘是人工智能领域中大语言模型等持续学习系统面临的关键问题,指模型在学习新任务时会大量遗忘之前已掌握的知识。近年来随着大模型持续学习需求增长,该问题成为研究热点,众多技术方案尝试缓解这一问题。

灾难性遗忘近期进展

Grokked Illusion:高熵模型可缓解灾难性遗忘(https://arxiv.org/abs/2607.29503v1):最新研究表明,高熵模型架构可有效缓解灾难性遗忘问题,通过优化模型记忆机制提升多任务学习能力。

量子弹性权重巩固:利用量子Fisher信息缓解遗忘(https://arxiv.org/abs/2607.16030v1):研究人员提出基于量子计算的弹性权重巩固方法,借助量子Fisher信息增强模型对已有知识的记忆保持能力,有效缓解灾难性遗忘。

**Stable Recovery Manifold:持续学习中遗忘知识的几何

相关报道

8 条在档