本文提出了一个名为 Deep Model Consolidation（DMC）的类增量学习范式，它通过利用公共可用的无标签辅助数据，将训练数据集中的已知类和未知类分别训练成不同的模型，然后通过新型的双重蒸馏训练目标结合两个模型，从而解决了增量学习中的 “灾难性遗忘” 问题，并在单头 IL 设置中，相比于现有技术，显著提升了图像分类和物体检测的性能。

Mar, 2019

该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

Mar, 2020

本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

May, 2023

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

研究人类和人工神经网（ANNs）学习机制之间的差异，指出后者的 Catastrophic Forgetting 是一个重要难题。作者提出了一种动态阈值移动算法，能够成功消除这种偏差，并在 CIFAR100 和 MNIST 数据集上展示了接近最优的结果，该算法利用增量学习、知识蒸馏等解决了这个问题。

Jul, 2018

本文提出个体分类器与冻结特征提取器（ICE）框架及其三个变体，旨在缓解分类器漂移，以无存储旧类别样本的情况下，连续从数据流中学习新类别。在 6 个分类增量信息提取任务上的实验结果表明，与现有最先进方法相比，我们的解决方案（尤其是 ICE-O）始终表现出显著的改进，提供了强有力的基线和未来研究的启示。

May, 2023

本文提出了一个因果框架，解释了类增量学习中的灾难性遗忘的原因，并提出了一种新的蒸馏方法，该方法与现有的抗遗忘技术（例如数据回放和特征 / 标签蒸馏）正交。在这个框架下，我们发现特征 / 标签蒸馏虽然存储效率高，但其因果效应与端到端特征学习的优点不相符，而数据回放则能够保留此效应，因此我们建议使用基于 Colliding Effect 的因果蒸馏方法，在不损失回放存储的情况下，实现类增量学习中的遗忘效应的缓解。实验结果表明该方法能够显著提高目前各类增量学习方法的性能。

Mar, 2021

类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。

Aug, 2023

提出一种新的方法帮助在有限数据情况下进行类别增量的在线学习。该方法使用元学习框架和知识整合来解决灾难性遗忘和过拟合等问题。该方法在多个基准测试中显著优于其他方法。

Jun, 2021

通过知识蒸馏作为正则化策略，我们研究了不需要示例的类别增量学习（CIL），以防止遗忘。我们引入了一种名为教师适应（TA）的方法，它与基于知识蒸馏的 CIL 方法无缝结合，并在多个不需要示例的 CIL 基准测试中持续提高性能。

Aug, 2023