提出 CLS-ER，一种双重记忆体验重放的方法，有助于在学习新知识的同时保留和补充先前的知识记忆，从而实现深度神经网络的持续学习。

Jan, 2022

本文中，我们提出了一种名为 DualNets 的深度学习框架，该框架结合了快速学习和慢速学习系统，通过监督学习和自监督学习的方式，实现低成本、高效率地同时保留模式分离型表征和任务不可知通用表征的方法。我们在多项实验中，通过标准的离线任务感知设置以及具有挑战性的在线任务无关场景中充分验证了该框架的可行性和有效性，同时公开代码供参考。

Sep, 2022

基于补充学习系统理论的启示，我们提出了一种名为 “DualNet” 的新型连续学习框架，其中包括一个快速学习系统和一个慢速学习系统，分别用于有着特定任务的监督学习和无任务的非监督学习。经实验验证，该方法优于现有的方法，并验证了其有效性、稳健性和可伸缩性。

Oct, 2021

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024

我们提出了一种叫做 PROOF 的模型，它通过训练任务特定的映射来解决 Vision-Language Models 在 Class-Incremental Learning 时候遗忘问题，并且通过融合多模态信息来提高模型的语义表示能力。在九个基准数据集上进行的实验表明，PROOF 达到了最先进的性能。

May, 2023

持续学习在避免旧任务遗忘的同时，旨在不断学习新知识。本研究侧重于类增量设置下的文本分类，在探索持续学习的表示学习过程中，发现信息瓶颈的压缩效应导致了对类似类别的混淆。为了使模型学习到更充足的表示，我们提出了一种新颖的基于重放的持续文本分类方法 InfoCL。该方法利用快慢对比学习和当前 - 过去对比学习来进行互信息最大化，更好地恢复之前学到的表示。另外，InfoCL 还采用了对抗性记忆增强策略来缓解重放的过拟合问题。实验结果表明，InfoCL 有效地减轻了遗忘问题，并在三个文本分类任务上达到了最先进的性能。代码公开可用于此 https URL。

Oct, 2023

本文提出了一个新的永续学习框架 “理想永续学习器”(ICL)，其通过构造保证避免了灾难性遗忘。我们证明了 ICL 统一了多种现有的永续学习方法，并为这些方法的优缺点提供了新的理论见解。最后，我们将 ICL 与现代研究领域中的经典主题和研究课题联系起来，以期激发未来的研究方向。

Apr, 2023

本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。

Jul, 2022

本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

Dec, 2020

本文提出了一种基于树探针机制的灵活持续学习方法，在图片分类领域获得了较好的学习速度和效果以及弹性推理能力。

Jul, 2023