使用对比自监督学习和集成模型的方法，构建一个架构，以有效地进行连续学习，同时避免灾难性遗忘，对多个基准测试问题进行评估并取得了优异的表现。

May, 2021

本文提出了一种用于无监督预训练的方法SPeCiaL，旨在为连续学习定制表示。我们的方法通过序列学习过程差异化地制定了元学习目标，从而产生偏向于快速知识保留且遗忘最小化的表示。在连续小样本学习中，我们评估了SPeCiaL的性能，并展示它能够匹配或胜过其他有监督的预训练方法。

Jun, 2021

本文介绍了CLEAR数据集，通过一种新颖的、可扩展的、低成本的视觉语言数据集策划方法，利用预训练的视觉语言模型CLIP交互式地构建标记数据集并进行验证，清除了错误和不合适的图像，提出了流处理评估协议并发现，流处理协议可以产生模型更普遍的、更准确的性能估计，包括半监督学习。

Jan, 2022

本文采用规则化技术研究视觉Tansformers的连续学习，特别关注其关键自注意机制的知识如何进行高效凝结。作者对比两种Method的性能，提出了一种可能具有Plasticity 和 Stability 的新方法，实验证明本研究提出的方法效果显著且 ViTs 可能在一定程度上天然倾向于连续学习。

Mar, 2022

本研究探讨大规模预训练模型在下游持续学习场景中的作用，发现使用非参分类器可以在低计算开销下达到合理的CL性能；解释了更广泛数据预训练模型的表现，探讨了它们的表征相似性和迁移属性；展示了自监督预训练在下游领域上的有效性，和提高潜在CL效果的方向。

Apr, 2022

本文研究了预训练模型在流畅学习中的应用，证明了组合使用自监督预训练和微调模型可以有效地保留模型先前学习的知识，有效防止灾难性遗忘。

May, 2022

本文研究了当计算资源受限时传统的Continual Learning方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

Mar, 2023

通过回顾和扩展简单的迁移学习思想：学习任务特定的归一化层，我们在维持竞争性性能的同时降低了计算成本，在ImageNet-R和CIFAR-100实验中，我们的方法在计算上更加经济且结果要么优于现有技术水平，要么与其相媲美。

Aug, 2023

在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在Split-CIFAR100和Split-TinyImagenet数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在avalanche框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

Aug, 2023

我们提出了一种新颖的方法，利用低秩适应和任务算术，不断训练基于Transformer的视觉模型，绕过灾难性遗忘问题并减少训练计算需求。在每个类别仅使用10个样本的小内存的帮助下，我们的方法实现了接近于完整微调的性能，并通过严格的消融实验证明了我们方法的优势。

Nov, 2023