持续学习（Continual Learning）指模型在不遗忘旧知识的前提下，从连续到来的新数据中不断学习新任务的能力，是应对灾难性遗忘的核心研究方向。随着大模型和智能体应用增多，如何在推理端实现低成本的知识更新，正成为持续学习从学术问题走向工程落地的关键转折点。
持续学习近期进展
当前焦点与观察点
当前持续学习研究呈现两条主线：一是方法效率，如无回放框架 TRACE、免反向传播的 Delta N-gram 记忆写入机制（arXiv）以及面向在线场景的 SPIN 优化器（arXiv），都在降低更新的算力与存储成本；二是评测标准化，Continual Learning Exam 等基准的出现表明社区开始重视对 LLM 智能体的统一衡量。
落地侧也有实质动作。据 PyTorch 官方消息，Shopify 在 PyTorchCon 2026 分享了基于 PyTorch 和 vLLM 构建的持续学习闭环（来源），显示业界已在生产环境中尝试在线知识更新。值得关注的争议点在于：经验回放与正则化方法孰优孰劣仍因场景而异，此外理论层面 ETF 目标在分析式持续学习中被证明不可行、需依赖 Equinorm 后处理改善长尾分类（arXiv），说明该领域的理论地基仍在修补中。总体看，持续学习正从单模型防遗忘，扩展为智能体长期演进的基础设施问题。