本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。

May, 2019

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

Jul, 2018

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

本文提出了一个名为 Deep Model Consolidation（DMC）的类增量学习范式，它通过利用公共可用的无标签辅助数据，将训练数据集中的已知类和未知类分别训练成不同的模型，然后通过新型的双重蒸馏训练目标结合两个模型，从而解决了增量学习中的 “灾难性遗忘” 问题，并在单头 IL 设置中，相比于现有技术，显著提升了图像分类和物体检测的性能。

Mar, 2019

本文针对有界内存下的连续数据流的增量学习问题，提出分别利用增量状态下的数据统计信息对初始类别分类器权重进行简单高效的缩放，并将其与传统的基于数据平衡的算法开展对比实验，结果表明通过对分类器权重的缩放以及去除蒸馏项可以有效缓解数据不平衡问题。

Jan, 2020

在这篇论文中，我们提出了一种名为 Split-and-Bridge 的新型持续学习方法，它通过部分分割神经网络进行新任务的训练，然后重新连接来学习任务间的知识，可以成功地解决 Deep Learning 社区中持续学习的主要问题之一，即如何在不遗忘以前任务的知识的情况下有效地学习一系列新到来的任务。

Jul, 2021

本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

May, 2023

通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

Aug, 2023

本研究利用基于速率降低的另一原则提出了白盒架构，该架构明确计算网络的每个层次而无需反向传播，以解决当前深度学习体系结构遇到的遗忘问题，实验证明该方法能够构建一个新网络以模拟所有过去和新的数据类的联合训练，从而有效地解决了持续学习中遗忘问题。

Nov, 2020