本研究旨在提出一种新的持续表示学习方法，使用领域选择和一致性松弛策略，对大量身份执行知识蒸馏，以提高持续学习模型的可扩展性和灵活性，并在生物识别中提供用于多步骤的大规模基准测试。研究表明，比起其他竞争者，本方法获得了更好的结果。

Jun, 2020

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024

本文探讨了基于少量标注数据的持续半监督学习问题，并设计了一种利用度量学习和一致性正则化的新方法，仅依赖 25% 的监督数据即可优于全监督训练下的 SOTA 方法。

Aug, 2021

提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需要专门解决 RNN 中的连续学习的问题。

Apr, 2020

该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

Oct, 2021

本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在 Pascal VOC2012 和 ADE20K 数据集上取得了显著的准确性，远超过现有技术。

Mar, 2021

本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

May, 2023

本文探讨了机器学习中的持续学习范式，并提出了一种基于特征提取的持续学习框架，通过特征和分类器在每个环境中的联合训练，设计了一种高效的梯度算法 DPGD，并证明了该算法能够在当前环境下表现良好，同时避免灾难性遗忘，但在特征是非线性的情况下，并不存在这样一种算法。

Mar, 2022

本文提出了一种灵活的 Bookworm Continual Learning (BCL) 框架，其中未见过的类别可以通过语义模型进行推断，视觉模型可以持续更新。因此，BCL 推广了连续学习 (CL) 和零样本学习 (ZSL)。本文还提出了双向想象 (BImag) 框架，用于处理 BCL，其中过去和未来两类的特征都能被生成。作者发现将特征生成器信息与属性进行联合会损害连续学习能力，提出了两种变体（联合类属性调节和不对称生成）来减轻这个问题。

Jun, 2020

该研究针对稳定数据的连续学习模型，提出了一种混合高斯模型的端到端融合方法，并在内部空间进行联合优化和调整，同时证明了该模型在基于图像分类问题上的竞争力。

Jul, 2023