基于类别注意力转移的知识蒸馏

CVPRApr, 2023

Class Attention Transfer Based Knowledge Distillation

Ziyao Guo, Haonan Yan, Hui Li, Xiaodong Lin

TL;DR提出了一种基于类别注意力传递的知识蒸馏（CAT-KD）方法，该方法不仅具有高解释性，还在多个基准测试中实现了最先进的性能，通过传输课程激活地图，从而提供了关于 CNN 的更好的理解，并改进了 CAT-KD 的解释性。

Abstract

Previous knowledge distillation methods have shown their impressive performance on model compression tasks, however, it is hard to explain how the knowledge they transferred helps to improve the performance of the student network. In this work, we focus on proposing a →

knowledge distillation interpretability cnn models class activation maps state-of-the-art performance

发现论文，激发创造

基于多头注意力网络的图卷积知识蒸馏

本文提出了一种新颖的知识蒸馏方法，通过多头注意力网络从大型教师网络中提取基于数据集的知识，并进行多任务学习，大大提高了小型学生网络的性能。

Jul, 2019

准备教材：利用更好的监督改进知识蒸馏

本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

Nov, 2019

频率注意力知识蒸馏

使用频域中的注意机制，在图像分类中提出了一种增强的知识蒸馏模型，可以从复杂的教师模型中提取全局信息，并在各种教师和学生架构上实验证明本方法优于其他知识蒸馏方法。

Mar, 2024

基于生成模型的特征知识蒸馏用于行为识别

本研究提出了一种创新的知识蒸馏框架，利用生成模型训练轻量级学生模型，通过特征表示和基于生成模型的特征蒸馏阶段，转移基于注意力的特征语义，在视频动作识别任务中显示出显著的性能改进。

Dec, 2023

残差知识蒸馏

本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

Feb, 2020

$V_kD:$ 使用正交投影来改进知识蒸馏

通过特征蒸馏方法，我们的研究提出了一种新的约束特征蒸馏方法，该方法可以应用于训练小型高效的深度学习模型，并在 ImageNet 数据集上获得了显著的性能提升。

Mar, 2024

关系知识蒸馏

该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

Apr, 2019

知識蒸餾中的遺失

深度神经网络通过知识蒸馏的模型压缩技术能够有效地在大型和小型模型之间实现信息转移，本研究通过实验探究了蒸馏过程对于信息损失的影响，并提出了一种优化配置方法。

Nov, 2023

从 CNN 提炼高效的视觉 Transformer 用于语义分割

我们提出了一种 CNN 到 ViT 知识蒸馏框架，包括视觉语言特征蒸馏模块 (VLFD) 和像素级解耦蒸馏模块 (PDD)，实验证明我们的方法在三个语义分割基准数据集上的 mIoU 增量是最先进知识蒸馏方法的 200% 以上。

Oct, 2023

光学遥感图像中基于注意力特征蒸馏的高效目标检测

提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

Oct, 2023