本研究介绍了一种通过对抗网络压缩方法实现从深层精确的模型向更小的模型中转移知识的方法，该方法不需要使用标签进行训练，并在不同的师生模型上泛化；在五个固定的标准数据集上进行广泛的评估表明，该学生模型准确率略有下降，而且性能比其他知识传输方法更好，并且超越了同一网络在使用标签训练时的性能，并且对比其他压缩策略的表现也达到了现有的最佳水平。

Mar, 2018

本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

Feb, 2018

本研究旨在通过利用知识蒸馏和神经图像压缩的思想，采用先进的监督压缩方法，使用带有随机瓶颈的教师模型和学生模型，以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较，并发现我们的方法在保持端到端时延更小的情况下，实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。

Aug, 2021

本文提出了一种用于回归问题的新的知识蒸馏形式，其中包括教师异常值拒绝损失函数和多任务网络等内容，并通过对多个数据集的评估表明，该方法可以提高准确性。

Feb, 2020

本论文中，我们提出了一种新的知识蒸馏方案，通过从无标签的少样本数据中提取知识，以实现数据效率和训练 / 处理效率。这种方法可以在不到几分钟的时间内，恢复学生网络的准确性，使用仅全量数据的 1％而不需要传统的微调方法。

Dec, 2018

本文提出了一种新颖的基于知识蒸馏的模型压缩框架，在学生集成中启用了同时学习的知识蒸馏，并在压缩的学生模型上蒸馏同时学到的集成知识，该方法在不需要预训练权重的情况下同时训练了压缩学生和集成教师。该方法可以交付多个压缩的学生，并且使用我们的框架，可以以高效和灵活的方式适应不同场景。实验结果表明，使用我们的框架，一个压缩率达 97% 的 ResNet110 学生模型在 CIFAR100 数据集上相对精度提高了 10.64％，类似地，一个压缩率达 95％的 DenseNet-BC （k = 12）模型相对精度提高了 8.17％。

Nov, 2020

本篇研究提出了在两种不同类型的 ranker 模型上扩展句子转换蒸馏过程的两种方法，包括生成最优尺寸的词汇表和在蒸馏之前对教师的嵌入维数进行降维。结果表明，采用这些扩展技术的学生模型具有极大的压缩程度，而且在测试数据集上表现出高度的有效性和能用性。

Jun, 2022

本文主要探讨了一种基于强化学习技术的卷积神经网络模型压缩方法，该方法实现了两阶段压缩：剪枝和量化，并在 CIFAR-10 和 ImageNet 数据集进行了实验，结果表明该方法能够在减小模型大小的同时保证分类精度。

Dec, 2019

本文提出了一种使用高维提示层和估计大网络输出方差的方法来改进知识蒸馏技术，并采用手动设计的特征来提升小型网络的性能，实现了比 AlexNet 更好的性能，同时拥有大网络 $400 imes$ 更少的参数。

Dec, 2016

本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

Oct, 2017