语义分割中的增量学习知识蒸馏

Nov, 2019

Knowledge Distillation for Incremental Learning in Semantic Segmentation

Umberto Michieli, Pietro Zanuttigh

TL;DR本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Abstract

deep learning architectures have shown remarkable results in scene understanding problems, however they exhibit a critical drop of performances when they are required to learn incrementally new tasks without forgetting old ones. This catastrophic forgetting phenomenon impacts on the de

deep learning incremental learning semantic segmentation knowledge distillation scene understanding

发现论文，激发创造

语义分割的增量学习技术

本研究旨在解决深度学习架构在面临新增任务时由于灾难性遗忘导致性能下降的问题，提出了一种知识蒸馏方法来保留以前学习过的类别信息，并同时学习新类别，本文在 Pascal VOC2012 数据集上进行了实验验证其有效性。

Jul, 2019

适应性特征融合的知识蒸馏分类增量学习

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

语义分割中增量学习的背景建模

本文探讨了深度架构在更新模型上的遗忘问题和在语义分割中的特殊性，提出了一种基于蒸馏的框架解决语义分割中的背景类语义分布不一致的问题，并引入了一种新的分类器参数初始化策略，最终在 Pascal-VOC 2012 和 ADE20K 数据集上显著优于现有的增量学习方法。

Feb, 2020

少样本类别增量语义分割：伪标记和知识蒸馏

我们提出了一种从少量样本中学习语义分割模型的新类别的方法，通过伪标签策略进行扩充，通过知识提取能够保留现有类别的知识。

Aug, 2023

元学习增量目标检测

该研究提出了一种元学习方法，以优化共享增量任务信息的模型梯度并通过元学习梯度预处理来减少遗忘和最大化知识转移，从而提高目标检测中的增量学习性能。

Mar, 2020

M2KD: 多模型、多层次知识蒸馏用于增量学习

本文提出一种多模型和多级别知识蒸馏策略，通过直接利用之前的模型快照和辅助蒸馏等方式，在保留旧类知识的同时提升整体性能，有效解决了旧类性能下降的问题。

Apr, 2019

走向语义图像分割中的可比较知识蒸馏

知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了 14 篇发表于近 4 年的 25 种蒸馏损失项。通过对 2022 年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三个数据集和两种学生模型的坚实基线，并提供了大量有关超参数调整的信息。在 ADE20K 数据集上，发现只有两种技术能与我们简单的基线相竞争。

Sep, 2023

基于语义感知的少样本类别增量学习知识蒸馏

本研究提出一种用于解决 few-shot class incremental learning（FSCIL）问题的蒸馏算法，该算法利用语义信息进行训练，同时提出基于注意机制的方法来对齐视觉和语义向量，从而有效降低了灾难性遗忘的影响，并成功地在 MiniImageNet、CUB200 和 CIFAR100 数据集上创下了新的最优结果。

Mar, 2021

利用距离亮点聚合技术提升语义分割

本文提出一种基于知识蒸馏的语义分割方法，通过引入 Inter-class Distance Distillation (IDD) 模块来转移特征空间中的跨类距离，同时利用位置信息蒸馏模块来提高学生网络的位置编码能力，实验结果表明，该方法可以大幅度提高语义分割模型的准确性，达到 state-of-the-art 的性能水平。

May, 2022

基于知识蒸馏的高效医学图像分割

我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。

Aug, 2021