#SPIN

有人给在线持续学习专门造了个优化器，直接替换 SGD 或 AdamW 就能涨点，连无回放场景都有效，做持续学习的可以看看。