主要来源shao__meng
查看原文事件专题 ·单一信源
Google Research 发布 SLEEP：用「睡眠巩固」周期减轻大模型灾难性遗忘
Google Research 发布 SLEEP 方法，让 LLM 在「清醒交互」和「睡眠巩固」之间周期切换。睡眠阶段动态扩容 MoE 记忆块，用广义知识蒸馏（GKD）把短期上下文信息写入长时参数，再用合成数据做「做梦」式自我改进。持续翻译评测中，SLEEP 对满语、Kalamang 等未见语言近乎零掉点，遗忘程度低于 ICL、Cartridges 和 SFT 基线。长上下文方面在 BABILong 上称可扩展到约 1000 万 token，数学推理在 AIME 24 上达到约 79.2%，优于 SFT 和 GRPO。
当前结论
Google Research 这个 SLEEP 挺有意思，让模型像睡觉一样离线巩固记忆，学新语言不掉老本事，BABILong 上号称能撑到 1000 万 token。
2 个信源72° AI 热度最后更新 2026/10/29 02:34:55
证据链
2 个信源相关来源 1Google Research
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。