ICCVFeb, 2022

探索通道间相互关系以保留多样性的知识蒸馏

PDF
TL;DR本文提出了一种新颖的基于交互通道相关性的知识蒸馏方法，Inter-Channel Correlation for Knowledge Distillation (ICKD)，旨在解决先前方法忽略了保留特征的通道间相关性的问题。在 ImageNet 分类和 Pascal VOC 分割任务中，我们的方法优于现有方法并取得了最好的效果，成为目前知识蒸馏领域最前沿的技术之一。
发现论文，激发创造
  • 通道级知识蒸馏用于密集预测

    利用 KL 散度和频道 - wise 蒸馏进行语义分割，以更小的计算成本，优于目前所有已知的空间蒸馏方法，可视为有效的知识提取方法。

    Nov, 2020

  • 知识蒸馏的相关性一致性

    本文提出了一种新的基于相关性的一致性知识蒸馏框架 (CCKD)，通过引入泰勒级数展开的广义核方法捕获实例间的相关性，并在图像分类任务和度量学习任务中实现了最优结果。

    Apr, 2019

  • 深度集体知识蒸馏

    DCKD 是一种深度集体知识蒸馏的模型压缩方法，旨在通过丰富的信息让学生模型从老师模型和其他学生模型中获取知识，本文探讨了如何在训练过程中提高类别之间的相关性，实验结果表明该方法在 ImageNet 和 CIFAR-100 数据集上取得了最先进的性能表现。

    Apr, 2023

  • I2CKD：用于语义分割的课内和课间知识蒸馏

    这篇论文提出了一种针对图像语义分割的新型知识蒸馏方法，称为 Intra- and Inter-Class Knowledge Distillation（I2CKD）。该方法的重点是捕捉和转移教师（笨重模型）和学生（紧凑模型）的中间层之间的知识。为了进行知识提取，我们利用特征图生成了类原型。为了促进知识传递，我们采用三元损失来最小化教师和学生原型之间的类内方差，最大化类间方差。因此，I2CKD 能够使学生更好地模拟教师每个类的特征表示，从而提高紧凑网络的分割性能。使用各种教师 - 学生网络对 Cityscapes、Pascal VOC 和 CamVid 三个分割数据集进行广泛实验，证明了所提方法的有效性。

    Mar, 2024

  • 知识扩散用于蒸馏

    本论文提出了一种名为 DiffKD 的新型知识蒸馏方法，其基于扩散模型显式去噪和匹配特征，以更好地实现精简干净特征和教师特征的蒸馏。在图像分类、对象检测和语义分割任务中，DiffKD 在各种特征类型上均取得了最先进的性能。

    May, 2023

  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023

  • 基于图的知识探索：通道关系图的多层特征蒸馏

    基于图知识的蒸馏方法结合多级特征对齐策略和注意力引导机制，利用谱嵌入的技术将学生模型的特征空间与教师网络的关系和结构复杂性相融合，通过全局视角理解和利用特征集之间的动态关系，从而更准确地模仿教师模型的复杂结构性依赖关系，实验证明该方法在 CIFAR-100、MS-COCO 和 Pascal VOC 数据集上的效果优于以往的特征蒸馏方法，证明其有效性和适用性。

    May, 2024

  • 重访知识蒸馏：一个继承和探索框架

    本文提出了一种新颖的知识蒸馏策略 -- 继承与探索知识蒸馏框架 (IE-KD)，它将学生模型分成两个部分，继承和探索。继承部分通过相似度损失将已有的知识从教师模型转移到学生模型，而探索部分通过不相似度损失鼓励学生模型学习与继承部分不同的特征表示，实验结果表明，IE-KD 能够提高学生网络的表现，达到 SOTA 水平。

    Jul, 2021

  • 通过皮尔逊相关系数的通用蒸馏框架用于目标检测

    本研究提出一种新的知识蒸馏方法，即通过皮尔逊相关系数来模拟特征之间的相互关系，以放松特征大小的限制，从而有效地在目标检测中训练异构模型，并在 COCO2017 数据集上分别与 RetinaNet 和 FCOS 基线相比，分别获得 4.1％和 4.8％的 mAP 提高。

    Jul, 2022

  • 基于维度结构的跨模态学习知识蒸馏方法

    本论文提出一种基于知识蒸馏的跨模态学习方法，通过探索任务间相关性，将潜在的 “暗知识” 迁移到易学习任务中，有效提高模型准确性并应用于现实世界数据集的实验验证。

    Jun, 2023