通过随机梯度下降（SGD）在线性回归模型中提供了一般性的理论分析，揭示了任务序列与算法参数之间错综复杂的关系，探讨了连续学习中的灾难性遗忘和算法参数选取对任务学习顺序的影响，通过模拟实验验证了理论分析的结果。

May, 2024

我们的研究主要关注于在可分析的模型中，任务相似性和过参数化如何联合影响遗忘，针对两个任务的连续线性回归任务，我们得到了遗忘期望的精确解析表达式并揭示了一个微妙的模式，此外，在高度过参数化的模型中，中等的任务相似性导致最多的遗忘，然而，在近插值阈值附近，遗忘随着期望任务相似性的减小而单调减少。

Jan, 2024

该研究从理论上和实验证明，过参数化可以在一定程度上改善神经网络模型在连续学习中遗忘前任务的性能表现。

Jun, 2022

探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。

Dec, 2013

本研究探讨了机器学习系统中存在的灾难性遗忘问题，发现深层网络是导致遗忘的主要因素，并介绍了稳定深层网络的方法。实证分析表明，任务相似度与遗忘程度具有相关性。在标准的 split-CIFAR-10 设置上进行了实验，并引入了一个基于 CIFAR-100 的任务，近似实现了输入分布的转移，得到了一些有益的结论。

Jul, 2020

本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免 “灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。

May, 2021

深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

Oct, 2023

通过对最优线性分类器表现的差异考虑 “表示忘却” 的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。

Mar, 2022

本文研究了灾难性遗忘和任务序列属性之间的关系，尤其是给定任务序列，我们希望了解这个序列的哪些属性会影响在该序列上训练的永续学习算法的错误率。我们提出了一种新的程序，利用最近在任务空间建模和相关性分析方面的发展来指定和分析我们感兴趣的属性。作为一个应用，我们将我们的程序应用于研究任务序列的两个属性：“总复杂度” 和 “顺序异质性”。我们发现，对于一些最先进的算法，错误率与任务序列的总复杂度强烈且正相关；令人惊讶的是，在某些情况下，错误率与顺序异质性没有或甚至具有负相关性。我们的发现为改进永续学习基准和方法提供了方向。

Aug, 2019

近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

Dec, 2023