通过使用一种新的损失函数，这篇研究提出了一种解决卷积神经网络增量学习中 “灾难性遗忘” 的问题的方法，可以在没有原始训练数据或注释的情况下适应新类别，并在 PASCAL VOC 2007 和 COCO 数据集上实现了物体检测。

Aug, 2017

本研究提出了三种不同的跨领域和类别增量学习的目标检测模型，并利用注意力特征蒸馏方法进行知识的延续，并通过三种代表性的采样方法发现对不同目标类别的记忆较为困难，而领域之间的差异对目标检测的负面影响较小。实验表明，所提出的方法在七个目标检测基准数据集上均取得了显著的改进。

Feb, 2020

基于 CenterNet 的 MultIOD 是一种无需复习和复述的类增量目标检测器，通过多头特征金字塔和多头检测架构高效分离类别表示，利用迁移学习和类别非极大值抑制技术解决灾难性遗忘问题，并在两个 Pascal VOC 数据集上显著优于一系列最先进的方法。

Sep, 2023

该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

Mar, 2020

本文提出了一个因果框架，解释了类增量学习中的灾难性遗忘的原因，并提出了一种新的蒸馏方法，该方法与现有的抗遗忘技术（例如数据回放和特征 / 标签蒸馏）正交。在这个框架下，我们发现特征 / 标签蒸馏虽然存储效率高，但其因果效应与端到端特征学习的优点不相符，而数据回放则能够保留此效应，因此我们建议使用基于 Colliding Effect 的因果蒸馏方法，在不损失回放存储的情况下，实现类增量学习中的遗忘效应的缓解。实验结果表明该方法能够显著提高目前各类增量学习方法的性能。

Mar, 2021

研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在 CIFAR-100 和 ImageNet 上均取得了国际领先的成果，方法简单易实现。

Feb, 2021

本研究旨在解决深度学习架构在面临新增任务时由于灾难性遗忘导致性能下降的问题，提出了一种知识蒸馏方法来保留以前学习过的类别信息，并同时学习新类别，本文在 Pascal VOC2012 数据集上进行了实验验证其有效性。

Jul, 2019

该研究提出了一种元学习方法，以优化共享增量任务信息的模型梯度并通过元学习梯度预处理来减少遗忘和最大化知识转移，从而提高目标检测中的增量学习性能。

Mar, 2020

本研究提出了一种通过区域提议网络和区域分类网络的知识蒸馏来预防灾难性遗忘的方法，以持续或终身学习实时物体检测，实验结果表明该方法具有较高的 mAP 和 6 倍的推理速度提升。

Sep, 2020

通过使用 CLIP 等语言 - 视觉模型生成不同类别集合的文本特征嵌入来改善特征空间，用广义类别替换早期学习阶段中的不可用新类别，从而模拟实际增量情景，并使用 CLIP 图像编码器识别提议中的潜在对象并对其进行分类，通过修改提议的背景标签为已知类别并将框添加到训练集来缓解数据模糊性问题，我们在 PASCAL VOC 2007 数据集上评估了我们的方法，在各种增量学习设置中，我们的方法优于最先进的方法，特别是对于新的类别。

Oct, 2023