本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。

Sep, 2019

本研究旨在使用混合方法来解决连续学习中遗忘的问题，该方法结合了体系结构生长来防止任务特定技能的遗忘，并采用经验回放方法来保存共享技能。研究结果表明，我们的混合方法在单个数据集和多个数据集的类增量学习中都表现优异。

Mar, 2020

本文探讨了类增量学习中跨任务特征的学习对于基本重放策略性能的影响，提出了一个新的类增量学习遗忘度量，并通过实验结果发现未来类增量学习算法不仅要防止遗忘，还要提高跨任务特征质量和任务之间的知识转移，特别是在任务数据有限的情况下。

Jun, 2021

该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用LUMP技术来缓解灾难性遗忘问题。

Oct, 2021

通过对最优线性分类器表现的差异考虑“表示忘却”的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。

Mar, 2022

提出了Task Agnostic Representation Consolidation (TARC)，一种用于连续学习的两阶段训练范式，将自监督训练和有监督学习交织在一起，旨在解决深度神经网络（DNNs）中的遗忘问题。实验证明，该训练法可以轻松地添加到基于记忆或基于正则化的方法中，并为更具挑战性的CL设置提供一致的性能提升，同时实现更稳健和良好校准的模型。

Jul, 2022

机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

Dec, 2023

本研究提出了一种名为交叉领域连续学习（CDCL）的新方法，在一个紧凑的卷积网络中结合了跨任务关注机制，实现了对先前任务特征的对齐，并在相关领域之间进行了无监督的交叉领域学习（UDA）。通过使用一种任务内特定的伪标签方法，确保了有标签和无标签样本的准确输入对，从而增强了学习过程。本方法在公开的UDA数据集上进行了广泛实验，显示出在交叉领域连续学习挑战上的良好性能。此外，本研究提出了增量思想，为该领域的进展做出了贡献。

Feb, 2024

提出了一种基于特征丰富性的有效秩增强方法（RFR），旨在提高前向兼容性，该方法通过在基础会话期间增加表示的有效秩，从而便于将更多信息丰富的特征纳入未见过的新任务中，并验证方法的有效性和性能改进。

Mar, 2024

我们提出了一种适用于无监督连续学习（UCL）的统一框架，该框架将实时数据和过去数据的特定学习目标区分开来，包括稳定性、可塑性和跨任务整合。我们的方法Osiris在分离的嵌入空间中明确优化这三个目标，并在所有基准测试中取得了最先进的性能，包括本文提出的两个具有语义结构化任务序列的新基准测试。与标准基准测试相比，这两个结构化基准更接近人类和动物在导航现实环境时接收到的视觉信号。最后，我们展示了一些初步的证据表明连续模型可以从这样的真实学习场景中受益。

Apr, 2024