本文介绍了使用条件对抗网络来学习从大型精准教师神经网络中获取知识来训练小型快速学生神经网络的学生-教师策略，并研究了网络大小对于分类准确度和推理时间之间的平衡的影响和建议。

Sep, 2017

本研究介绍了一种通过对抗网络压缩方法实现从深层精确的模型向更小的模型中转移知识的方法，该方法不需要使用标签进行训练，并在不同的师生模型上泛化；在五个固定的标准数据集上进行广泛的评估表明，该学生模型准确率略有下降，而且性能比其他知识传输方法更好，并且超越了同一网络在使用标签训练时的性能，并且对比其他压缩策略的表现也达到了现有的最佳水平。

Mar, 2018

本文提出了一种基于知识蒸馏的对抗性学习框架以更好地训练轻量化（学生）卷积神经网络，同时全面考虑了大型（教师）卷积神经网络中的概率分布和中间层表示。实验结果表明，该方法可以显著地提高学生网络在图像分类和物体检测任务 上的性能。

Oct, 2018

本文提出了零数据知识迁移的方法，通过自动生成Data Impressions从而实现了基于Teacher模型的知识迁移，不需要获取原始数据，具有实用性和良好的泛化能力。

May, 2019

该研究提出一种新的对抗蒸馏机制，用于在没有真实数据的情况下制作紧凑的学生模型，这种数据免费的方法在分类和语义分割中表现出与基于数据驱动的方法相当的性能甚至更好。

Dec, 2019

本文提出一种基于多个teacher assistant的密集引导知识蒸馏方法，通过逐渐减小模型大小有效地弥合teacher和student之间的巨大差距，实现了对student的更高效学习，并在CIFAR-10、CIFAR-100和ImageNet上的多个backbone架构中取得了显著的性能提升。

Sep, 2020

本文介绍一种用于少样本知识蒸馏的双阶段方法，该方法仅使用了少量无标注样本，能够有效降低深度神经网络的模型复杂度和大小，实现了与传统方法相当的性能表现。

Dec, 2020

通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

Mar, 2021

本文通过分析零样本量化技术的损失面结构和性能下降数据处理方法研究，提出一种简单，有效的零样本量化技术AIT，通过KL距离损失和梯度操纵来提高模型性能。

Mar, 2022

本文提出了 Adversarial Function Matching (AdvFunMatch) 策略来匹配在 consistent teaching 下的所有数据点的分布，旨在提高模型的对抗鲁棒性。实验结果表明，AdvFunMatch 不仅能够提高模型的干净准确性，还能提高模型的对抗鲁棒性。强大的数据增强对于 AdvFunMatch 是有益的。

May, 2023