Catastrophic(灾难性)在 AI 领域最常见的语境是 catastrophic forgetting(灾难性遗忘),指大模型在学习新任务或进行微调时,原本掌握的旧知识突然大幅退化甚至丢失的现象。这个问题是持续学习(continual learning)研究的核心痛点,也是模型迭代后能力“变差”争议的技术根源之一。近期研究与实践正围绕“遗忘是否真的发生”以及“如何在智能体场景中反过来防止灾难性记忆堆积”展开。
Catastrophic Forgetting 的近期研究进展
当前焦点与观察点
灾难性风险也进入了商业文件层面。Anthropic 在其 IPO 招股书中明确警告自身产品可能带来的“灾难性”AI 风险,这在科技公司上市文件中相当罕见,也反映出头部 AI 公司对极端风险的披露义务正在成为合规议题。
另一个与遗忘密切相关的讨论来自开发者社区:有观点指出,OpenAI 每次发布新模型后第一周体验很好、随后似乎变差,而 Claude 若发布时是好模型则之后依然稳定。这类“模型变笨”的感知是否源于灾难性遗忘、后训练调整或单纯的使用者适应效应,目前尚无定论,但它是公众理解 catastrophic forgetting 最直观的入口。
值得关注的观察点包括:一是“虚假遗忘”若被验证,模型对齐与安全研究需要重新评估“被遗忘”的能力是否仍可被恢复;二是智能体系统中“灾难性记忆”与“灾难性遗忘”需要同时治理;三是随着监管对极端风险披露要求趋严,catastrophic 一词在商业与法律语境中的使用可能进一步增多。