本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。

May, 2024

本文提出 SketchOGD 作为解决连续任务中机器学习模型遗忘的内存高效算法，使用在线素描算法压缩模型梯度，并在理论和实验上进行了评估。

May, 2023

该论文通过从参数空间的角度解决神经网络的连续学习问题，提出了正交梯度下降（OGD）方法，并通过限制梯度更新方向来避免遗忘之前学习的数据。该方法可以更有效地利用神经网络的高容量，并不需要存储先前学习的数据。实验证明，所提出的 OGD 方法是有效的。

Oct, 2019

本研究提出了三种不同的跨领域和类别增量学习的目标检测模型，并利用注意力特征蒸馏方法进行知识的延续，并通过三种代表性的采样方法发现对不同目标类别的记忆较为困难，而领域之间的差异对目标检测的负面影响较小。实验表明，所提出的方法在七个目标检测基准数据集上均取得了显著的改进。

Feb, 2020

这篇论文提出了一种针对无监督在线普通持续学习的对比学习增强内存使用的新方法，通过定义和使用流依赖的数据增强及实现技巧，提升了持续学习中的遗忘问题，实现了与有监督方法相媲美的最新结果，为持续学习提供了有希望的策略。

Sep, 2023

本文从优化的角度提供了基于情节记忆方法的两种改进方案 MEGA-I 和 MEGA-II，这两个方案通过将当前梯度与在情节记忆上计算的梯度相结合，调节旧任务和新任务之间的平衡，并通过新的损失平衡更新规则，极大地提高了性能，在四个常用的终身学习基准测试中，将误差降低 18％。

Sep, 2019

本研究提出了一种新的无监督域增量学习识别任务的流程，该流程包括从原始数据中获取基础嵌入，根据它们与每个聚类中心的相似度获取最近的点，使用这些点训练增量任务分类器，并通过任务分类器和漂移检测器设计了一种算法来决定何时在线学习新任务。

Jun, 2023

本研究提出了一种名为 DARE 的新颖 DIL 方法，通过分歧、适应和细化的三阶段训练过程，逐步将与新任务相关的表示适应到由先前任务样本所覆盖的特征空间中，并同时整合任务特定的决策边界，有效减缓了特征编码器的表示漂移，降低了多个 DIL 基准下的灾难性遗忘，并且在任务边界处防止了突发的表示漂移，使得 DIL 模型的性能得到了良好校准，并保持了对先前任务的性能。

Jun, 2024

研究了 AI 发展中的一个主要障碍，即模型快速解决新问题的能力欠佳且容易忘记先前获得的知识。提出了一种基于连续数据的模型学习评估指标并提出了 Gradient Episodic Memory (GEM) 模型，它可以减轻模型遗忘的问题并允许将知识传递到以前的任务中。实验表明，相对于现有技术水平，GEM 表现良好。

Jun, 2017

本文提出一种基于 EM 框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题，使用基于 von Mises-Fisher 混合模型的灵活类表示来捕获类内结构，采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆，并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验，表明该方法在三个基准数据集上均优于现有方法。

Apr, 2022