FitNets: 纤细深度神经网络的提示

Dec, 2014

FitNets: Hints for Thin Deep Nets

Adriana Romero, Nicolas Ballas, Samira Ebrahimi Kahou, Antoine Chassang, Carlo Gatta...

TL;DR本文提出了一种基于知识蒸馏的深度神经网络训练方法，通过使用教师网络的中间表示学习，允许训练比教师更深而且更窄的学生网络，并引入了额外参数来进行深浅网络之间的映射，以实现降低参数以提高运行速度或提升性能的目的。在 CIFAR-10 数据集上的实验表明，这种方法能够在参数规模几乎是教师网络的十分之一的条件下，取得比教师网络更好的性能。

Abstract

While depth tends to improve network performances, it also makes gradient-based training more difficult since deeper networks tend to be more non-linear. The recently proposed knowledge distillation approach is aimed at obtaining small and fast-to-execute models, and it has shown that

knowledge distillation deep learning student network teacher network parameter reduction

发现论文，激发创造

通过条件对抗网络进行知识蒸馏，训练浅层和瘦身网络以实现加速

本文介绍了使用条件对抗网络来学习从大型精准教师神经网络中获取知识来训练小型快速学生神经网络的学生 - 教师策略，并研究了网络大小对于分类准确度和推理时间之间的平衡的影响和建议。

Sep, 2017

教辅辅助下的知识蒸馏改进

本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使用一个中等大小的网络（即教师助手）来弥补学生与教师之间的差距，并通过对 CIFAR-10,100 和 ImageNet 数据集进行广泛的实验证明了该方法的有效性。

Feb, 2019

信任教师：学习压缩模型进行行人检测

本文提出了一种使用高维提示层和估计大网络输出方差的方法来改进知识蒸馏技术，并采用手动设计的特征来提升小型网络的性能，实现了比 AlexNet 更好的性能，同时拥有大网络 $400 imes$ 更少的参数。

Dec, 2016

利用深度网络在训练阶段仅针对非线性黑盒系统识别的能力

为了在系统辨识中充分利用深度模型的建模能力，本研究提出了一种新的训练策略，仅在训练阶段使用深度模型。通过采用两个具有不同结构和目标的分离模型，第一个模型是目标为模拟系统输出分布的深度生成模型（教师模型），第二个模型是基于浅层基函数的模型（学生模型），通过系统输入来预测系统输出。通过使这两个模型学习的表示空间保持一致，使学生模型继承了教师模型的逼近能力。仿真结果在三个非线性基准测试上与应用于相同基准测试的深度架构相比表现出相似的性能。同时实现了算法透明性和结构效率作为副产品。

Dec, 2023

通过特征嵌入学习学生网络

本文提出了一种基于特征嵌入的新型教师 - 学生模型，使用局部保持损失函数优化低维特征生成，从而避免引入额外参数，通过实验证明该方法计算和存储复杂度均优于现有教师 - 学生模型。

Dec, 2018

代际知识蒸馏：更具宽容性的教师教育更好的学生

本文从严格性控制角度研究了深度神经网络的教师网络和学生网络的优化问题。通过针对教师网络训练中的宽松性进行优化，使得学生网络在学习过程中更容易获得跨类别相似性信息，从而在 CIFAR100 和 ILSVRC2012 等数据集的图像分类任务中取得更高的分类准确率。

May, 2018

宽 - 窄：高效训练深瘦网络

本研究提出了一种基于模型压缩和神经平均场分析的新型深度学习网络优化方法，并通过大量实验证明其优于传统的反向传播方法，可使经过我们的优化方法训练后的 ResNet50 在性能上超越 ResNet101，而 BERT Base 则可以与 BERT Large 相媲美。

Jul, 2020

知识流：超越你的教师

通过知识流的方式将多个深度网络（教师）的知识传递给新的深度网络模型（学生），解决了在新任务中选择哪个网络或为微调新模型选择哪个网络的初始化的问题，并在监督和强化学习任务中提供比微调和其他知识交流方法更好的表现。

Apr, 2019

多教师助理指导的密集知识蒸馏

本文提出一种基于多个 teacher assistant 的密集引导知识蒸馏方法，通过逐渐减小模型大小有效地弥合 teacher 和 student 之间的巨大差距，实现了对 student 的更高效学习，并在 CIFAR-10、CIFAR-100 和 ImageNet 上的多个 backbone 架构中取得了显著的性能提升。

Sep, 2020

少样本知识蒸馏用于高效网络压缩

本论文中，我们提出了一种新的知识蒸馏方案，通过从无标签的少样本数据中提取知识，以实现数据效率和训练 / 处理效率。这种方法可以在不到几分钟的时间内，恢复学生网络的准确性，使用仅全量数据的 1％而不需要传统的微调方法。

Dec, 2018