本研究通过引入基于噪声的正则项对深度学习模型压缩中的教师 - 学生框架进行扩展，以解决模型存储大小、运行时复杂度和训练时复杂度等问题，实验结果在 CIFAR-10 数据集上表现最佳，表明该方法在深度模型压缩方面有潜力。

Oct, 2016

本论文中，我们提出了一种新的知识蒸馏方案，通过从无标签的少样本数据中提取知识，以实现数据效率和训练 / 处理效率。这种方法可以在不到几分钟的时间内，恢复学生网络的准确性，使用仅全量数据的 1％而不需要传统的微调方法。

Dec, 2018

本研究提出了一种基于强化学习的数据驱动方法来学习神经网络的压缩模式，可以在维持与输入网络相似的性能的同时实现超过 10 倍的模型压缩，并且通过预训练小型‘teacher’网络的策略可以加速大型‘teacher’网络的训练。

Sep, 2017

本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

Nov, 2017

通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

Mar, 2021

本文提出了一种基于卷积操作的知识转移方法，通过使用两个模块，即叙述模块和翻译模块，将教师网络的知识转化为学生网络的知识，从而实现模型压缩和知识转移，实验结果表明这种方法优于传统的知识转移方法。

Feb, 2018

本文提出了一种基于知识蒸馏的对抗性学习框架以更好地训练轻量化（学生）卷积神经网络，同时全面考虑了大型（教师）卷积神经网络中的概率分布和中间层表示。实验结果表明，该方法可以显著地提高学生网络在图像分类和物体检测任务 上的性能。

Oct, 2018

本研究旨在通过利用知识蒸馏和神经图像压缩的思想，采用先进的监督压缩方法，使用带有随机瓶颈的教师模型和学生模型，以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较，并发现我们的方法在保持端到端时延更小的情况下，实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。

Aug, 2021

本文介绍了使用条件对抗网络来学习从大型精准教师神经网络中获取知识来训练小型快速学生神经网络的学生 - 教师策略，并研究了网络大小对于分类准确度和推理时间之间的平衡的影响和建议。

Sep, 2017

本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

Feb, 2019