提出了一种通过结构模型蒸馏实现神经网络内存降低的方法，使用注意力转移，并提供了残差网络的 Pareto 曲线和表格，证明这种蒸馏方法在极少损失准确率的情况下能够显著节省内存并提升学生网络性能。

Nov, 2017

本文研究了如何利用蒸馏来提高深度学习模型的训练效率，实验发现，蒸馏在 ResNet-50 和 BERT 模型上可以提高训练速度，尤其是在 BERT 模型初期进行蒸馏可以取得最佳效果。此外，通过对蒸馏方法的一些优化可以进一步提高蒸馏的效率。

Nov, 2022

提出一种基于数据集精简的算法，通过共享数据集的压缩表示生成训练样本以迅速重新训练神经网络，进而实现数据集的总体压缩和连续学习。

Jun, 2022

提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。

May, 2019

本论文提出了一种深度但紧凑的卷积神经网络，通过特征提取、信息提炼和重构网络三部分组成，使用带有增强单元和压缩单元的信息提炼块提取局部长短路径特征，具有快速执行的优点，实验结果表明其在超分辨率方面优于现有方法，特别是时间表现。

Mar, 2018

文章提出了一个新的多阶段轻量级网络增强方法，利用加强的高分辨率输出作为轻量级学生网络的附加监督，进一步简化网络结构并采用有效的轻量级网络训练策略，实现了在 NTIRE 2023 高效超分辨率挑战赛中的最快推理时间，同时保持竞争力超分辨率性能。

Apr, 2023

对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

Aug, 2023

本文研究了特征蒸馏方法在网络压缩中的设计问题，并提出了一种新的特征蒸馏方法，其中蒸馏损失的设计使各个方面之间产生协同效应：老师变换，学生变换，蒸馏特征位置和距离函数。该方法在图像分类、目标检测和语义分割等多个任务中实现了显著的性能提升。

Apr, 2019

该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

Jun, 2020

本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

Feb, 2018