本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。

Sep, 2019

使用自动编码器和神经风格转移的方法来解决持续学习中的灾难性遗忘和存储数据的内存限制问题，并取得了比最先进方法更高的分类准确率和更少的存储空间。

Jan, 2021

本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

Mar, 2021

使用对比自监督学习和集成模型的方法，构建一个架构，以有效地进行连续学习，同时避免灾难性遗忘，对多个基准测试问题进行评估并取得了优异的表现。

May, 2021

本文提出了一种用于无监督预训练的方法SPeCiaL，旨在为连续学习定制表示。我们的方法通过序列学习过程差异化地制定了元学习目标，从而产生偏向于快速知识保留且遗忘最小化的表示。在连续小样本学习中，我们评估了SPeCiaL的性能，并展示它能够匹配或胜过其他有监督的预训练方法。

Jun, 2021

通过对最优线性分类器表现的差异考虑“表示忘却”的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。

Mar, 2022

本研究探讨大规模预训练模型在下游持续学习场景中的作用，发现使用非参分类器可以在低计算开销下达到合理的CL性能；解释了更广泛数据预训练模型的表现，探讨了它们的表征相似性和迁移属性；展示了自监督预训练在下游领域上的有效性，和提高潜在CL效果的方向。

Apr, 2022

研究探讨了持续学习算法中前向传递的表现力，并考察了连续学习算法在图像分类领域的表现。结果发现，保留过去信息的表现力更好，同时这种表现力更加多样和可辨识。

Mar, 2023

通过回顾和扩展简单的迁移学习思想：学习任务特定的归一化层，我们在维持竞争性性能的同时降低了计算成本，在ImageNet-R和CIFAR-100实验中，我们的方法在计算上更加经济且结果要么优于现有技术水平，要么与其相媲美。

Aug, 2023

通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如CIFAR10和TinyImagenet等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

Nov, 2023