本文提出了一种名为 CTR 的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明 CTR 模型是有效的。

Dec, 2021

通过研究不同的权重共享决策对任务间的转移学习的影响，本文揭示了任务的复杂性和相似性对最佳权重共享决策的影响，并通过实验验证了在符合研究结果支持的权重共享决策下，相较于其他决策，可以提高任务准确性。

Nov, 2023

本文针对持续学习过程中的分布漂移（如任务或领域漂移）导致神经网络对原有任务的忘记问题，研究了神经网络中哪些模块更容易被遗忘，提出了遗忘优先微调（FPF）和基于周期触发的 $k$-FPF 两种方法，取得了较好的效果并显著降低了计算成本。实验表明，FPF 方法在几个增量 CL 基准测试中均能显著提高方法效果，$k$-FPF 进一步提高了效率而不降低准确性。

Apr, 2023

CUBER 是一种用于关键层有积极相关性的老任务的前向知识传递和反向知识传递来提高连续学习中表现的方法，它可以在无数据回放的情况下实现积极的反向知识传递，并且在已有 CL 基准测试中表现优异。

Nov, 2022

通过模拟每次有新的数据块可用时更新的学习模型，本文研究了在限制数据传输和存储的情况下，不同 Continual Learning 方法的性能，发现 Learning without Forgetting 是其中表现最佳的算法之一，并探究了它在 Morphing Attack Detection 和 Object Classification 任务中的使用和参数化，特别是与新的训练数据量相关的方面。

Jul, 2023

记忆转换器是应对神经网络在连续学习中面临的灾难性遗忘挑战的一种方法，通过引入混合适配器和基于生成模型的路由机制来减轻这个问题，实现了各种视觉连续学习任务的最新性能和出色的参数效率。

Apr, 2024

本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。

Jul, 2022

本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

Jan, 2024

通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

Jun, 2024

本文提出了一种简明有效的使用预训练模型进行 CL 的方法，它采用无需训练的随机投影仪和类原型累积技术，可避免遗忘问题，并且证明了与以前的方法相比，在不使用回访记忆的情况下，对于多个基准数据集，减少了最终错误率。

Jul, 2023