本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

本研究提出了三种不同的跨领域和类别增量学习的目标检测模型，并利用注意力特征蒸馏方法进行知识的延续，并通过三种代表性的采样方法发现对不同目标类别的记忆较为困难，而领域之间的差异对目标检测的负面影响较小。实验表明，所提出的方法在七个目标检测基准数据集上均取得了显著的改进。

Feb, 2020

该研究提出了一种元学习方法，以优化共享增量任务信息的模型梯度并通过元学习梯度预处理来减少遗忘和最大化知识转移，从而提高目标检测中的增量学习性能。

Mar, 2020

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

通过使用一种新的损失函数，这篇研究提出了一种解决卷积神经网络增量学习中 “灾难性遗忘” 的问题的方法，可以在没有原始训练数据或注释的情况下适应新类别，并在 PASCAL VOC 2007 和 COCO 数据集上实现了物体检测。

Aug, 2017

本研究研究对象检测中的遗忘问题，提出新的知识蒸馏框架处理缺失标签，并在 Pascal-VOC 数据集中取得了领先的效果，同时在实例分割模型中有所拓展。

Apr, 2022

本文提出了一种基于领域自适应的增量式学习方法，即 DA-CIL，通过多个领域的数据增强和知识蒸馏来提高在不同领域下的深度学习三维物体检测的准确性和泛化性能。实验证明，DA-CIL 在领域自适应增量学习场景下具有较好的性能。

Dec, 2022

本文提出了一种高效的端到端的渐进式目标检测器，利用知识蒸馏技术，在新任务微调模型时适当保留旧类别的知识，相较于传统 Faster RCNN 基线检测器更快 13 倍，且更准确。

Mar, 2020

用自适应几何中心模块构建鉴别性局部几何结构，然后通过几何感知注意机制，探索具有高贡献度的唯一 3D 几何特征，从而不断地学习新类别的 3D 物体。同时，通过分数公平补偿策略，进一步缓解由于过去和新类别的 3D 物体之间的不平衡数据而导致的灾难性遗忘，以弥补新类别的偏差预测。实验验证了该模型的优越性。

Dec, 2020

本研究提出了一种通过区域提议网络和区域分类网络的知识蒸馏来预防灾难性遗忘的方法，以持续或终身学习实时物体检测，实验结果表明该方法具有较高的 mAP 和 6 倍的推理速度提升。

Sep, 2020