Mar, 2024

I2CKD：用于语义分割的课内和课间知识蒸馏

HTML
PDF
TL;DR这篇论文提出了一种针对图像语义分割的新型知识蒸馏方法，称为Intra- and Inter-Class Knowledge Distillation（I2CKD）。该方法的重点是捕捉和转移教师（笨重模型）和学生（紧凑模型）的中间层之间的知识。为了进行知识提取，我们利用特征图生成了类原型。为了促进知识传递，我们采用三元损失来最小化教师和学生原型之间的类内方差，最大化类间方差。因此，I2CKD能够使学生更好地模拟教师每个类的特征表示，从而提高紧凑网络的分割性能。使用各种教师-学生网络对Cityscapes、Pascal VOC和CamVid三个分割数据集进行广泛实验，证明了所提方法的有效性。
发现论文，激发创造
  • 稠密预测的结构化知识蒸馏

    该论文研究了如何将大型神经网络中的结构信息转移到紧凑型神经网络中，以用于计算机视觉中的密集预测任务，提出了从大型神经网络到紧凑型神经网络的结构蒸馏算法，并通过三个密集预测任务的实验展示了方法的有效性。

    Mar, 2019

  • 路标分割的区域间亲和度蒸馏

    本文介绍了一种新的知识蒸馏方法——Inter-Region Affinity KD，该方法通过构建道路场景图并匹配教师模型的图来实现从大型教师网络向较小的学生网络进行知识迁移，从而在多种轻量级模型上取得了更好的性能表现，并在 ApolloScape、CULane 和 LLAMAS 三个大型路标分割数据集上进行了验证。

    Apr, 2020

  • 通道级知识蒸馏用于密集预测

    利用KL散度和频道-wise蒸馏进行语义分割，以更小的计算成本，优于目前所有已知的空间蒸馏方法，可视为有效的知识提取方法。

    Nov, 2020

  • 通过自我知识蒸馏提高自我：特征细化

    本文提出了一种名为FRSKD的自我知识蒸馏方法，利用辅助自主教师网络传输分类器网络的精细化知识。该方法可应用于分类和语义分割等多样化任务，并证明其在各种任务和基准数据集中的性能提升

    Mar, 2021

  • 跨图像关系知识蒸馏用于语义分割

    本文提出了一种跨图像关系知识蒸馏方法，通过结构化像素之间和区域之间的关系来提高学生模型的分割性能。在Cityscapes，CamVid和Pascal VOC数据集上的实验结果表明，该方法比现有的蒸馏方法效果更好。

    Apr, 2022

  • 利用距离亮点聚合技术提升语义分割

    本文提出一种基于知识蒸馏的语义分割方法，通过引入Inter-class Distance Distillation (IDD)模块来转移特征空间中的跨类距离，同时利用位置信息蒸馏模块来提高学生网络的位置编码能力，实验结果表明，该方法可以大幅度提高语义分割模型的准确性，达到state-of-the-art的性能水平。

    May, 2022

  • AICSD: 自适应类间相似度蒸馏，用于语义分割

    该论文提出了一种名为Inter-Class Similarity Distillation（ICSD）的新方法，通过独立计算每个类的内类分布并计算KL散度得出类之间的相似性矩阵进行知识蒸馏，结合自适应损失权重（ALW）训练策略，在语义分割领域的两个著名数据集上验证了该方法的有效性。

    Aug, 2023

  • 走向语义图像分割中的可比较知识蒸馏

    知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了14篇发表于近4年的25种蒸馏损失项。通过对2022年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三个数据集和两种学生模型的坚实基线，并提供了大量有关超参数调整的信息。在ADE20K数据集上，发现只有两种技术能与我们简单的基线相竞争。

    Sep, 2023

  • 语义分割的相对难度蒸馏

    在本文中，我们通过引入相对学习难度的指导原则，提出了一种适用于语义分割的像素级知识蒸馏范式，名为相对难度蒸馏（RDD）。我们的研究结果表明，RDD能够以更有效的方式指导学习焦点，并可与现有的知识蒸馏方法相结合，提高其性能上限。

    Jul, 2024

  • 标签辅助下的强化教师：一种用于语义分割的新型知识蒸馏方法

    提出一种新的知识蒸馏方法，通过将标签噪声并结合到输入中来提高轻量级教师模型的性能，同时保持与标准蒸馏一致性训练学生模型，以提高知识蒸馏的效果并增加教师和学生模型的灵活性。

    Jul, 2024