机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

Dec, 2023

MoCL 是一种无需复习的模块化和组合的连续学习框架，通过不断向语言模型添加新模块并与现有模块组合，有效地促进知识传递。

Mar, 2024

本文探讨了不断学习中，使用 rehearsal 方法的优点和局限，通过三个基准测试提供了实证证据，指出使用该方法的模型在任务完成后仍然处于较低的损失区域，但有过拟合采样数据的风险从而降低模型的泛化能力，这是一项重要的持续学习研究。

Apr, 2021

本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

Jan, 2021

通过从神经科学和现有的对抗性和持续学习研究的洞见中获得灵感，我们引入了一个新的框架，名为 Robust Rehearsal，通过特征精炼和再巩固的核心概念，解决了持续学习系统中的灾难性遗忘挑战，从而通过学习任务中的精炼体验重现和过去体验的整合来模拟记忆再巩固，为恢复性遗忘提供了有前景的解决方案，为更健壮和类人的人工智能系统铺平了道路。

Apr, 2024

提出了一种名为 RECALL 的新型无训练回溯方法，可持续性地学习新的未见过的物体类别，采用回想流程对旧类别进行分类，采用新头部来适应新类别，同时提出了一个正则化策略来减轻遗忘，提出了包括方差的马氏损失，以适应可变密度的新旧类别差异，并在 HOWS-CL-25 数据集上验证了方法的有效性。

Sep, 2022

近期的数据驱动任务导向对话系统在增量学习方面存在计算约束和耗时的问题，而连续学习试图通过避免密集的预训练来解决此问题，但它面临的问题是灾难性遗忘。本文提出了 Dirichlet 连续学习（DCL），这是一种新颖的基于生成的排练策略，用于连续学习。与传统上在条件变分自编码器（CVAE）中使用的高斯潜变量不同，DCL 利用 Dirichlet 分布的灵活性和多功能性来建模潜在先验变量。这使得它能够有效地捕捉先前任务的句子级特征并有效地指导伪样本的生成。此外，我们介绍了 Jensen-Shannon 知识蒸馏（JSKD），一种强大的基于逻辑的知识蒸馏方法，在伪样本生成期间增强了知识传递。我们的实验证实了我们方法在意图检测和槽填充任务上的有效性，并且胜过了最先进的方法。

Sep, 2023

研究了半监督连续学习 (SSCL) 模型，使用伪标记、一致性正则化、知识蒸馏和外域检测策略，能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。

Jan, 2021

本文研究了 Continual Learning 中基于正则化的方法，通过理论推理和实验说明了这些方法在 class-incremental 场景下不能有效学习区分不同任务的类别，在多任务强化学习或用于 Continual Learning 的预训练模型中也存在重要后果。作者认为理解正则化策略的缺陷将有助于更有效地利用它们。

Dec, 2019

探索了 P-RFCL（基于参数高效微调的 RFCL）方法在强大性能背后的驱动因素，揭示了其与最新的首任务自适应研究以及先前的 CL 标准之间的关系，并推动标准 RFCL 技术（如 EWC 或 SI）的发展。

Jun, 2024