利用特征映射进行知识蒸馏的图像分类

Dec, 2018

利用特征映射进行知识蒸馏的图像分类

Knowledge Distillation with Feature Maps for Image Classification

Wei-Chun Chen, Chia-Che Chang, Chien-Yu Lu, Che-Rung Lee

TL;DR本文提出了一种名为 KDFM（含有特征映射的知识蒸馏）的方法，通过学习教师网络的功能映射来提高知识蒸馏的有效性，并在实验中得出使用 4 层 CNN 模仿 DenseNet-40 和使用 MobileNet 模仿 DenseNet-100，对于 CIFAR-100 数据集，学生网络与教师模型相比准确率损失小于 1％，并且学生网络的推理速度是教师模型的 2-6 倍，而 MobileNet 的模型大小小于 DenseNet-100 的一半。

Abstract

The model reduction problem that eases the computation costs and latency of complex deep learning architectures has received an increasing number of investigations owing to its importance in model deployment. One

model reduction deep learning knowledge distillation feature maps cnn

发现论文，激发创造

CDFKD-MFS: 基于多级特征分享的协同无数据知识蒸馏

提出了一种用于资源受限的边缘设备上的深度神经网络压缩的框架，其中包括多输入头的学生模块、不对称对抗数据无关知识蒸馏模块和基于注意力聚合模块，通过多层特征共享的方式实现合作式无数据知识蒸馏，并在三个数据集上的实验结果比现有的最佳方法更好。

May, 2022

让学生决策的知识蒸馏层

通过引入可学习的 KD 层和模板学习方法，我们提出一种新的知识蒸馏技术，实现了对学生模型在中间层中进行特征变换的显式控制，并在多个分类基准测试中验证了其有效性。

Sep, 2023

基于排名模仿和预测引导特征仿效的目标检测知识蒸馏

本研究针对目标检测中知识蒸馏问题，通过分析教师和学生模型行为差异提出了基于 Rank Mimicking 和 Prediction-guided Feature Imitation 的知识蒸馏方法，有效地提高了学生模型的精确度和加速度。

Dec, 2021

特征图级别在线对抗知识蒸馏

本文提出了一种在线知识蒸馏方法，在对抗训练框架下同时传输分类概率和特征图的知识，并使用判别器区分不同网络的特征图分布进行训练，比传统的直接对齐方法（如 L1）更适用于在线蒸馏，在多个网络之间引入循环学习方案，实验表明该方法的性能显著提高，特别是在训练一对小型和大型网络的情况下。

Feb, 2020

基于响应、特征和关系的知识蒸馏分类

这篇论文提供了一份全面的知识蒸馏调查，包括知识类别、蒸馏方案和算法，以及一些性能比较的实证研究。

Jun, 2023

FEED: 特征级集成的知识蒸馏

FEED 是一种有效的知识蒸馏（knowledge distillation）方法，旨在通过特征映射级别的集成学习，将多个教师网络的知识传递给学生网络，提高其泛化能力，同时在测试时不引入额外的参数或计算。

Sep, 2019

基于稠密交叉层互相蒸馏的知识转移

在这篇论文中，我们提出了一种改进的双向知识迁移方法 Dense Cross-layer Mutual-distillation (DCM)，它采用了协作训练师生网络的方法，引入了辅助分类器和密集的双向知识蒸馏操作，在各种知识迁移任务中都表现出比相关方法更卓越的性能。

Aug, 2020

信息流建模的异质知识蒸馏

本文提出了一种新的知识蒸馏方法，通过建模教师模型各层之间的信息流，训练学生模型来模拟信息流。该方法通过适当的监督方案解决了训练过程中不同阶段的监管问题，并设计和训练了一个适当的辅助教师模型，作为一种代理模型，能够 “解释” 教师的工作方式给学生。实验证明该方法对于四个图像数据集和多种不同的评估设置均有效。

May, 2020

通过特征嵌入学习学生网络

本文提出了一种基于特征嵌入的新型教师 - 学生模型，使用局部保持损失函数优化低维特征生成，从而避免引入额外参数，通过实验证明该方法计算和存储复杂度均优于现有教师 - 学生模型。

Dec, 2018

通道级知识蒸馏用于密集预测

利用 KL 散度和频道 - wise 蒸馏进行语义分割，以更小的计算成本，优于目前所有已知的空间蒸馏方法，可视为有效的知识提取方法。

Nov, 2020