研究在老师 - 学生设置下深度神经网络中的连续学习，通过探究老师之间的相互作用关系，发现任务相似性在中间层与特征层之间存在复杂的相互作用，会对初始遗忘转移率、最大遗忘转移率以及长期遗忘转移率产生影响。这些结果有助于阐明导致灾难性遗忘的多种因素。

Jul, 2021

我们的研究主要关注于在可分析的模型中，任务相似性和过参数化如何联合影响遗忘，针对两个任务的连续线性回归任务，我们得到了遗忘期望的精确解析表达式并揭示了一个微妙的模式，此外，在高度过参数化的模型中，中等的任务相似性导致最多的遗忘，然而，在近插值阈值附近，遗忘随着期望任务相似性的减小而单调减少。

Jan, 2024

本文提出了一种针对混合相似和不相似任务序列的学习技术，旨在解决忘却问题并实现信息的前向和后向传输，其中针对不相似任务的算法处理忘却问题，针对相似任务，算法着重于选择性地将从某些相似前一任务学习到的知识传递到新任务中，实验结果表明该模型的有效性。

Dec, 2021

通过利用可学习的相似度度量标准将任务分为两个不同的子集，相似度启发式终身提示调整（SHLPT）框架实现了从任务中实现了有益的传递，同时 SHLPT 还通过参数池有效地对抗灾难性遗忘，实验证明 SHLPT 在终身学习基准测试中优于现有技术并且对多样化任务序列的负面传递具有鲁棒性。

Jun, 2024

本研究提出了 TAMiL 方法，应用任务注意模块和自动编码器捕捉共同表示空间中的任务特定信息，并在全局工作区中保留任务相关信息以缓解灾难性遗忘现象。实验结果表明，该方法优于现有基于重新玩彩和动态稀疏方法的连续学习方法。

Feb, 2023

本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免 “灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。

May, 2021

通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

Nov, 2023

使用基于蒸馏思想的多任务目标和相应机制解决神经网络在序列迁移学习任务中的灾难性遗忘问题，并在 Twitter 情感分析任务上进行了演示，表明该技术优于 fine-tuning，并且能够不遗忘有用的先前知识。

Apr, 2017

本文提出三种不同的持续学习场景，探讨不同的评估方法以及其性能差异；通过研究表明，针对识别任务需要推断类别（即类别增量学习）的场景中，基于正则化的方法失败，需要回放以前经验的表示来解决此问题。

Apr, 2019

研究探讨了持续学习算法中前向传递的表现力，并考察了连续学习算法在图像分类领域的表现。结果发现，保留过去信息的表现力更好，同时这种表现力更加多样和可辨识。

Mar, 2023