本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。
Jan, 2021
通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。
Nov, 2023
本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。
May, 2018
本文发现在连续学习的情境中，通过对比学习方法学习到的表示对抗遗忘更加鲁棒，基于该观察，我们提出了一种基于重复学习的算法，该算法着重于持续学习和维护可转移的表示，并在常见的基准图像分类数据集上进行了广泛实验验证，该方法取得了最新的最佳性能。
Jun, 2021
本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。
Sep, 2019
机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。
Dec, 2023
本文提出了一种可扩展的对抗式连续学习（SCALE）方法，使用参数生成器将共同特征转换为任务特定特征和单个判别器在对抗游戏中诱导共同特征。该方法通过类元学习的方式进行训练，使用三个损失函数的新组合。SCALE 方法在准确性和执行时间方面优于突出的基线。
Sep, 2022
本文提出了一种对抗背景攻击的新型防御性框架，该框架利用了攻击者隐藏后门模式的能力，提出了学习一个更加可感知（更强大）的模式以抵抗攻击的思想，同时通过使用多种连续学习基准数据集来证明其有效性。
Apr, 2023
对记忆型持续学习算法的对抗鲁棒性进行研究，提出了一种新的对抗鲁棒记忆型持续学习方法，通过调整数据的逻辑值来减轻敌对样本导致的过去信息遗忘，并通过梯度选择机制克服有限存储数据导致的梯度混淆，实验结果表明该方法在对抗数据上取得高达 8.13% 的更高准确性。
本文研究神经网络在不断学习时如何学习和忘记其代表特征并引入了任务排除比较等新的分析技术。研究发现大部分特定任务的特征很快被遗忘，但回放和代表特征学习等方法可影响代表特征及其品质与学习绩效的紧密相关性。