通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

Jun, 2024

本文研究了当计算资源受限时传统的 Continual Learning 方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

Mar, 2023

本文针对持续学习过程中的分布漂移（如任务或领域漂移）导致神经网络对原有任务的忘记问题，研究了神经网络中哪些模块更容易被遗忘，提出了遗忘优先微调（FPF）和基于周期触发的 $k$-FPF 两种方法，取得了较好的效果并显著降低了计算成本。实验表明，FPF 方法在几个增量 CL 基准测试中均能显著提高方法效果，$k$-FPF 进一步提高了效率而不降低准确性。

Apr, 2023

通过模拟每次有新的数据块可用时更新的学习模型，本文研究了在限制数据传输和存储的情况下，不同 Continual Learning 方法的性能，发现 Learning without Forgetting 是其中表现最佳的算法之一，并探究了它在 Morphing Attack Detection 和 Object Classification 任务中的使用和参数化，特别是与新的训练数据量相关的方面。

Jul, 2023

本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

May, 2023

本文研究神经网络在不断学习时如何学习和忘记其代表特征并引入了任务排除比较等新的分析技术。研究发现大部分特定任务的特征很快被遗忘，但回放和代表特征学习等方法可影响代表特征及其品质与学习绩效的紧密相关性。

Apr, 2023

研究探讨了持续学习算法中前向传递的表现力，并考察了连续学习算法在图像分类领域的表现。结果发现，保留过去信息的表现力更好，同时这种表现力更加多样和可辨识。

Mar, 2023

探究如何将连续学习转变成在线学习的系统，可用于自我监督学习和机器人避免冲突，该系统采用 “内存感知神经元” 的方法更新关键性权重。

Dec, 2018

本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

Dec, 2020

本文发现连续学习（CL）中的一种特殊的灾难性遗忘 —— 分布偏移遗忘（OODF），特别影响 CL 方法对类别的识别准确度，并强调开发克服 OODF 风险的方法是非常重要的。

Jun, 2023