Google Research 提出持续学习的 sleep 阶段，缓解 LLM 灾难性遗忘
精选理由
Google Research 发了个新方法，给 LLM 加了个类似睡觉的整合阶段，让它能持续学新知识还不忘旧的，做模型训练的可以看看。
Google Research 在博客介绍一种模拟睡眠阶段的持续学习方法，让 LLM 在训练后继续整合新事实并增强推理能力。该方法针对两个常见问题：灾难性遗忘和知识截止日期静态化。通过类似离线的整合阶段，模型在不破坏原有能力的情况下吸收新知识。
原文 · Google Research
Today on the blog, learn about our new instance of a “sleep” phase in continual learning, which enables LLMs to continuously integrate new facts and enhance reasoning while mitigating catastrophic forgetting or static knowledge cutoffs.
More →https://t.co/5v9w5Pn4dw https://t.co/7Mms1x7hgl
