本文研究了灾难性遗忘和任务序列属性之间的关系，尤其是给定任务序列，我们希望了解这个序列的哪些属性会影响在该序列上训练的永续学习算法的错误率。我们提出了一种新的程序，利用最近在任务空间建模和相关性分析方面的发展来指定和分析我们感兴趣的属性。作为一个应用，我们将我们的程序应用于研究任务序列的两个属性：“总复杂度”和“顺序异质性”。我们发现，对于一些最先进的算法，错误率与任务序列的总复杂度强烈且正相关；令人惊讶的是，在某些情况下，错误率与顺序异质性没有或甚至具有负相关性。我们的发现为改进永续学习基准和方法提供了方向。

Aug, 2019

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。

Sep, 2019

通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

Oct, 2019

本研究引入了一种名为Recursive Gradient Optimization的新方法，该方法不仅能够在没有数据重放的情况下修正梯度以减少遗忘，而且还具有虚拟特征编码层(FEL)，该层只使用任务描述符即可表示不同的长期结构。实验表明，与基线相比，RGO在流行的连续分类基准测试中表现显著更好，并在20-split-CIFAR100(82.22%) 和 20-split-miniImageNet(72.63%)中取得了新的最佳性能。该方法比单任务学习（STL）具有更高的平均准确性，而且灵活可靠，在学习依赖于梯度下降的模型的连续学习方面具有潜在的应用价值。

Jan, 2022

本文提出了两种生物启发机制，基于稀疏性和异构dropout，显著提高了连续学习者在长时间序列任务中的表现，并在多项基准连续学习问题上展示了重大的性能提升。

Mar, 2022

本研究提出了一种基于Scaled Gradient Projection方法的神经网络演化学习算法，通过横跨重要梯度空间的基向量缩放梯度来避免老任务信息的灾难性遗忘，优化新学习表现，实验证明其在各种任务中性能均优于目前最先进的方法。

Feb, 2023

我们提出了一个基于扩展的模型，用于持续学习，通过在先前任务的参数上增加模型来充分利用以前学到的信息，从而实现更好的知识传递。同时，我们还提出了一种强大的任务预测方法，通过使用熵加权的数据增强和伪标签来评估模型性能，并在各种数据集和架构设置中展示了最先进的结果。

Dec, 2023

该论文研究了具有大量任务的持续学习算法在长尾任务序列中的性能，并探讨了优化器状态作为提高持续学习性能的一种因素。通过维护来自先前任务的第二矩的加权平均，论文提出的方法有效减少遗忘，同时在现有的持续学习算法中取得改进。

Apr, 2024

该论文介绍了对于连续学习中的收敛性分析，提出了一种适应性方法用于非凸连续学习，该方法调整先前和当前任务的梯度的步长，以达到与 SGD 方法相同的收敛速度，并且在减轻每次迭代的灾难性遗忘项的情况下，改进了连续学习在几个图像分类任务中的性能。

Apr, 2024

通过随机梯度下降（SGD）在线性回归模型中提供了一般性的理论分析，揭示了任务序列与算法参数之间错综复杂的关系，探讨了连续学习中的灾难性遗忘和算法参数选取对任务学习顺序的影响，通过模拟实验验证了理论分析的结果。

May, 2024