在连续学习中，我们提出了 Prompt-based Continual Learning（LGCL）作为 Prompt-based 方法的插件，引入了任务级别和类别级别的语言引导，并通过广泛的实验表明，LGCL 能够持续提高 Prompt-based 连续学习方法的性能，实现了新的技术水平。此外，LGCL 还不需要额外的可学习参数。

Aug, 2023

我们提出了一种叫做 PROOF 的模型，它通过训练任务特定的映射来解决 Vision-Language Models 在 Class-Incremental Learning 时候遗忘问题，并且通过融合多模态信息来提高模型的语义表示能力。在九个基准数据集上进行的实验表明，PROOF 达到了最先进的性能。

May, 2023

通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

Jun, 2024

基于互动持续学习框架，使用大型语言模型与记忆检索机制，以及模型之间的协作交互，实现抵抗遗忘和优越性能的持续学习。

Mar, 2024

提出增强图卷积网络（AGCN++）并使用部分标签编码器（PLE）对多标签连续学习（MLCL）进行跨任务标签关系构建、避免灾难性遗忘等处理，实验结果表明该方法是有效的。

Nov, 2022

本文提出了一种新的类增量学习方法（VAG），通过将类增量学习视为一个连续标签生成问题，利用预先训练模型的可推广表达来减少灾难性遗忘，并利用词汇表的稀疏性来聚焦生成，同时通过使用标签语义来创建伪重放样本。实验结果表明，VAG 方法的表现优于基线方法。

Jun, 2023

本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretization fine-tuning 可获得竞争力的性能表现。

Jun, 2023

持续学习在避免旧任务遗忘的同时，旨在不断学习新知识。本研究侧重于类增量设置下的文本分类，在探索持续学习的表示学习过程中，发现信息瓶颈的压缩效应导致了对类似类别的混淆。为了使模型学习到更充足的表示，我们提出了一种新颖的基于重放的持续文本分类方法 InfoCL。该方法利用快慢对比学习和当前 - 过去对比学习来进行互信息最大化，更好地恢复之前学到的表示。另外，InfoCL 还采用了对抗性记忆增强策略来缓解重放的过拟合问题。实验结果表明，InfoCL 有效地减轻了遗忘问题，并在三个文本分类任务上达到了最先进的性能。代码公开可用于此 https URL。

Oct, 2023

本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

Jan, 2024

本研究采用基于回放的持续文本分类方法 RepCL，该方法利用对比和生成表示学习目标来捕获更多与类别相关的特征，并引入对抗式回放策略以缓解回放的过拟合问题。实验结果表明，RepCL 能够有效缓解遗忘，并在三个文本分类任务中取得了最先进的性能。

May, 2023