本文章重新定义了增量学习，提出了一种名为“幻影抽样”的技术，通过生成模型和深度神经网络的实现，成功避免了增量学习中的灾难性遗忘，并在各种基准数据集上验证了该技术可以实现严格的增量学习。

May, 2017

本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集ImageNet和MS-Celeb-1M上比现有算法表现更好。

May, 2019

本论文全面调查了现有的针对图像分类的类增量学习方法，特别是在13种类增量方法上进行了广泛的实验评估，包括多个大规模图像分类数据集上的类增量方法比较，小范围和大范围域转移的研究，以及各种网络架构的比较。

Oct, 2020

该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

Nov, 2020

研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在CIFAR-100和ImageNet上均取得了国际领先的成果，方法简单易实现。

Feb, 2021

本文介绍了一种新的增量知识蒸馏策略来解决Data-Free Class-Incremental Learning（DFCIL）的问题，该策略通过修改交叉熵训练和重要性加权特征蒸馏，提高了DFCIL的准确率，并在公共课程增量基准测试中表现出优异的性能。

Jun, 2021

本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

May, 2023

本文提出采用预训练稳定扩散模型作为增量学习的额外数据源，并证明其可以进一步提高现有最先进的大规模数据集类增量学习方法的性能。

Jun, 2023

为了解决少样本类别增量学习中的灾难性遗忘和过拟合问题，我们提出了利用先验知识（LwPK）的方法，通过引入一些后续增量类别的未标记数据来增强预训练模型的泛化能力。我们使用无标签的增量类别样本进行聚类以产生伪标签，并与标记的基类样本一起进行联合训练，有效地为新旧类别数据分配嵌入空间。实验结果表明，LwPK能够有效增强模型抵御灾难性遗忘的韧性，理论分析基于经验风险最小化和类别距离度量的操作原理得到了验证。LwPK的源代码公开地可在https://github.com/StevenJ308/LwPK获取。

Feb, 2024

本研究解决了类增量学习中的灾难性遗忘问题，特别是在使用预训练模型的情况下。提出了一种新方法，通过仅保留每个类别的单个样本并应用简单的梯度约束，显著提高了学习性能。实验结果表明，所提方法在低计算成本下能达到竞争力的效果。

Aug, 2024