I2CKD：用于语义分割的课内和课间知识蒸馏

Mar, 2024

I2CKD：用于语义分割的课内和课间知识蒸馏

I2CKD : Intra- and Inter-Class Knowledge Distillation for Semantic Segmentation

Ayoub Karine, Thibault Napoléon, Maher Jridi

TL;DR这篇论文提出了一种针对图像语义分割的新型知识蒸馏方法，称为 Intra- and Inter-Class Knowledge Distillation（I2CKD）。该方法的重点是捕捉和转移教师（笨重模型）和学生（紧凑模型）的中间层之间的知识。为了进行知识提取，我们利用特征图生成了类原型。为了促进知识传递，我们采用三元损失来最小化教师和学生原型之间的类内方差，最大化类间方差。因此，I2CKD 能够使学生更好地模拟教师每个类的特征表示，从而提高紧凑网络的分割性能。使用各种教师 - 学生网络对 Cityscapes、Pascal VOC 和 CamVid 三个分割数据集进行广泛实验，证明了所提方法的有效性。

Abstract

This paper proposes a new knowledge distillation method tailored for image semantic segmentation, termed Intra- and Inter-Class knowledge distillation (I2CKD). The focus of this method is on capturing and transfe

knowledge distillation image semantic segmentation intra- and inter-class knowledge distillation class prototypes triplet loss

发现论文，激发创造

利用距离亮点聚合技术提升语义分割

本文提出一种基于知识蒸馏的语义分割方法，通过引入 Inter-class Distance Distillation (IDD) 模块来转移特征空间中的跨类距离，同时利用位置信息蒸馏模块来提高学生网络的位置编码能力，实验结果表明，该方法可以大幅度提高语义分割模型的准确性，达到 state-of-the-art 的性能水平。

May, 2022

AICSD: 自适应类间相似度蒸馏，用于语义分割

该论文提出了一种名为 Inter-Class Similarity Distillation（ICSD）的新方法，通过独立计算每个类的内类分布并计算 KL 散度得出类之间的相似性矩阵进行知识蒸馏，结合自适应损失权重（ALW）训练策略，在语义分割领域的两个著名数据集上验证了该方法的有效性。

Aug, 2023

跨图像关系知识蒸馏用于语义分割

本文提出了一种跨图像关系知识蒸馏方法，通过结构化像素之间和区域之间的关系来提高学生模型的分割性能。在 Cityscapes，CamVid 和 Pascal VOC 数据集上的实验结果表明，该方法比现有的蒸馏方法效果更好。

Apr, 2022

深度集体知识蒸馏

DCKD 是一种深度集体知识蒸馏的模型压缩方法，旨在通过丰富的信息让学生模型从老师模型和其他学生模型中获取知识，本文探讨了如何在训练过程中提高类别之间的相关性，实验结果表明该方法在 ImageNet 和 CIFAR-100 数据集上取得了最先进的性能表现。

Apr, 2023

语义校准的跨层蒸馏

本文提出了 Semantic Calibration for cross-layer Knowledge Distillation (SemCKD) 方法，使用 Attention 机制自动分配适当的目标层，对学生模型进行知识蒸馏，以提高泛化能力。

Dec, 2020

走向语义图像分割中的可比较知识蒸馏

知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了 14 篇发表于近 4 年的 25 种蒸馏损失项。通过对 2022 年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三个数据集和两种学生模型的坚实基线，并提供了大量有关超参数调整的信息。在 ADE20K 数据集上，发现只有两种技术能与我们简单的基线相竞争。

Sep, 2023

语义分割中的增量学习知识蒸馏

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

探索通道间相互关系以保留多样性的知识蒸馏

本文提出了一种新颖的基于交互通道相关性的知识蒸馏方法，Inter-Channel Correlation for Knowledge Distillation (ICKD)，旨在解决先前方法忽略了保留特征的通道间相关性的问题。在 ImageNet 分类和 Pascal VOC 分割任务中，我们的方法优于现有方法并取得了最好的效果，成为目前知识蒸馏领域最前沿的技术之一。

Feb, 2022

知识蒸馏的相关性一致性

本文提出了一种新的基于相关性的一致性知识蒸馏框架 (CCKD)，通过引入泰勒级数展开的广义核方法捕获实例间的相关性，并在图像分类任务和度量学习任务中实现了最优结果。

Apr, 2019

比较性知识蒸馏

在大规模预训练模型时代，知识蒸馏在保持性能的同时，将计算重的教师模型的智慧转移到轻量高效的学生模型中起到了重要作用。然而，传统的知识蒸馏假设经常对教师模型进行推理，这与成本高昂且往往是专有的大规模模型的现实越来越不符。针对这一问题，本文提出了面向少教师推理知识蒸馏（FTI KD）的方法，旨在减少对教师模型推理的依赖。本文观察到，当前的知识蒸馏技术和最先进的数据增强策略在这种受限环境下效果不佳。我们从强调通过对比学习的教育原则中汲取灵感，提出了比较式知识蒸馏（CKD），它鼓励学生模型理解教师模型对样本解释的微妙差异，并为学生提供额外的学习信号，而无需进行额外的教师调用。此外，我们将 CKD 原理扩展到样本组，从有限的教师调用中实现更高效的学习。在各种实验设置下的实证评估表明，CKD 始终优于最先进的数据增强和知识蒸馏技术。

Nov, 2023