本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。
Sep, 2019
使用对比自监督学习和集成模型的方法，构建一个架构，以有效地进行连续学习，同时避免灾难性遗忘，对多个基准测试问题进行评估并取得了优异的表现。
May, 2021
本文采用规则化技术研究视觉Tansformers的连续学习，特别关注其关键自注意机制的知识如何进行高效凝结。作者对比两种Method的性能，提出了一种可能具有Plasticity 和 Stability 的新方法，实验证明本研究提出的方法效果显著且 ViTs 可能在一定程度上天然倾向于连续学习。
Mar, 2022
通过利用预训练模型的能力，我们提出了一个基于基线（即拿来即用）的解决方案，以持续学习计算机视觉问题，并设计了一种简单的方法，在大多数常见基准测试中实现强大性能。
May, 2022
通过实验验证，本文发现通过反复重置最后一层的权重（即“zapping”）的简单预训练机制可以提高迁移学习和持续学习的性能，这一机制在许多领域都适用，并且在计算上高效简单。
Oct, 2023
通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如CIFAR10和TinyImagenet等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。
Nov, 2023
本文研究了指令调整在持续学习大型多模型 (LMMs) 中的应用，并发现持续调整过程中仍然存在灾难性遗忘现象，但多任务联合指令调整可以改善遗忘问题，此外，基于任务相似性的正则化和模型扩展方法在持续学习中表现良好。
通过使用基于静态架构的方法，本研究不依赖记忆重现、参数隔离或正则化技术，仅通过将网络的最后一层替换为成对交互层来改善连续学习性能，并使用Winner-take-all风格激活函数中的稀疏表示来发现隐藏层表示中的相关性，实验结果表明该架构在MNIST和FashionMNIST连续图像分类实验中具有竞争性能。同时在无法访问任务标签或边界的在线流式连续学习设置中展示了这一点。
May, 2024
利用先进的预训练ViT模型，本研究通过REP方法提高基于ViT的on-device continual learning的资源利用效率，避免牺牲准确性的情况下降低计算和内存成本。
Jun, 2024
通过对以前任务特征生成的子空间正交方向上调整提示信息，本文提出了在视觉提示调整中实现提示梯度正交投影的一种有效的空间近似解决方案。实验证明了该方法在四个增量学习基准测试中对防止遗忘的有效性，并且优于现有方法的表现。