#持续学习

一篇论文提出 CiMEO 方法，让 LLM 学新任务时只更新对应的功能子网络，140 万条指令序列训练后遗忘更少，做持续学习可以看看。

一篇理论论文，证明只存预测结果会丢掉继续学习所需的信息，岭回归那组维度对比很直观，做持续学习的值得看看。

MIT提出D2R方法，让机器人通过想象学习新技能而不遗忘旧技能，在真实机器人上验证成功。

一篇持续学习论文，提出 GaTaP 算法，用门控机制既防遗忘又能 few-shot 学新任务组合，实验覆盖 MLP 和 CNN。

这篇论文给微调遗忘问题做了套几何理论，还造了个按单元的投影器，在 OPT-1.3b 上把 Adam-NSCL 的遗忘压到最多 4.3 倍更低，做持续学习的朋友可以看看。

遇到传感器越加越多、老模型就失效的问题？这篇论文用场算子代替图表示，PEMS 上误差直接降了 8.4%，代码也开源了。

一篇做低比特量化的论文，专治卷积层里 im2col 导致激活体积暴涨的问题，量化开销最多降 9 倍，做边缘端部署的可以看看。

机器人操作的世界模型持续学习基准，沿动作和感知两轴拆任务，模块化模型最抗遗忘但也没完全过关。

FACET用一个适配器解决了持续学习中的灾难性遗忘问题，比LoRA合并方法更高效。

这篇论文提出了一种无奖励持续学习框架，对于太空机器人适应硬件退化问题有重要意义，值得一读。

这篇论文提出了一个针对恶意软件识别的持续学习方法，结合自监督学习和低秩自适应，效果显著，值得一读。

想了解怎么让模型部署后还能继续学？Macaron-V1用LoRA组合和递归改进做到了，744B大模型加四个专家LoRA，还开源。

这篇论文把持续学习的新玩法梳理清楚了，不再只盯着参数调整，连测试时训练、外部记忆都算进去了。搞AI系统的可以看看。

这篇论文发现：渐进适应时任务分得越细，每个任务训练时间反而要按1/N缩放。用MNIST和Yearbook验证了，做持续学习的朋友可以看看。

这篇论文给了一套测试方法，来验证 LLM 智能体到底会不会把经验变成可复用的技能，而不是光靠记住上下文。

持续学习里OOD检测老退化，这篇论文讲清了原因，还给了免训练的TOOD校准方法，CIFAR上九成配置都能排前二。