通过对先前流派中分类分数导致偏差的原因进行系统分析，我们提出了一种称为Separate softmax for incremental learning (SS-IL)的新方法，它由分离的softmax (SS)输出层和面向任务的知识蒸馏 (TKD)组成，以解决诸如数据失衡等问题，从而在多个大规模CIL基准数据集上实现了强大的最新结果。

Mar, 2020

本论文全面调查了现有的针对图像分类的类增量学习方法，特别是在13种类增量方法上进行了广泛的实验评估，包括多个大规模图像分类数据集上的类增量方法比较，小范围和大范围域转移的研究，以及各种网络架构的比较。

Oct, 2020

该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

Nov, 2020

本研究利用基于速率降低的另一原则提出了白盒架构，该架构明确计算网络的每个层次而无需反向传播，以解决当前深度学习体系结构遇到的遗忘问题，实验证明该方法能够构建一个新网络以模拟所有过去和新的数据类的联合训练，从而有效地解决了持续学习中遗忘问题。

Nov, 2020

研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在CIFAR-100和ImageNet上均取得了国际领先的成果，方法简单易实现。

Feb, 2021

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

本文主要讨论了在有限内存情况下如何处理历史数据和新类别的增加，并提出了一种名为MEMO的基于共享泛化表示的基准，在保持代表性示例的同时，具有高效的内存管理和提取多样性特征的能力。

May, 2022

研究人类大脑能够通过Continual-Prune-and-Select(CP&S)的subnetwork选择策略，在不产生灾难性遗忘并能跨subnetworks传递知识的情况下，使DNN顺序学习十项任务且准确率在94%以上，是一项在类增量学习方面的优异结果。

Aug, 2022

类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而CIL算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

Aug, 2023

提出了一种基于特征丰富性的有效秩增强方法（RFR），旨在提高前向兼容性，该方法通过在基础会话期间增加表示的有效秩，从而便于将更多信息丰富的特征纳入未见过的新任务中，并验证方法的有效性和性能改进。

Mar, 2024