Lie bracket 或成灾难性遗忘早期预警信号:无需旧数据即可预测
用一阶 Lie bracket 预测遗忘,这个想法很新颖,而且实测只需要存梯度和 20 个 Hessian 特征对,不用保留旧数据,比 EWC 的 rho 高出不少。做持续学习的人可以看看它的适用边界,快速遗忘场景它还是打不过 EWC。
用一阶 Lie bracket 预测遗忘,这个想法很新颖,而且实测只需要存梯度和 20 个 Hessian 特征对,不用保留旧数据,比 EWC 的 rho 高出不少。做持续学习的人可以看看它的适用边界,快速遗忘场景它还是打不过 EWC。