本文提出了一种在线知识蒸馏方法，在对抗训练框架下同时传输分类概率和特征图的知识，并使用判别器区分不同网络的特征图分布进行训练，比传统的直接对齐方法（如 L1）更适用于在线蒸馏，在多个网络之间引入循环学习方案，实验表明该方法的性能显著提高，特别是在训练一对小型和大型网络的情况下。

Feb, 2020

提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

Apr, 2021

本篇论文提出了一种基于生成对抗网络的无需真实数据的对抗知识蒸馏框架，用于图结构数据的知识蒸馏，可以有效压缩图模型并在图分类任务中取得更好的性能。

May, 2022

使用自适应知识蒸馏方法 AdaDistill 在深度人脸识别中，通过利用高性能教师模型的知识来提高紧凑学生模型的性能。AdaDistill 将知识蒸馏概念嵌入到带有蒸馏类中心的边际惩罚 softmax 损失中，通过在训练迭代中控制学生的学习能力进展来相对调整蒸馏的知识，无需调整任何超参数。大量实验证明了 AdaDistill 可以增强学生的判别学习能力，并在多个具有挑战性的基准测试中展示了对各种最先进竞争者的优越性。

Jul, 2024

提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

Oct, 2023

本文提出 Unified Decoupled Feature Alignment (UDFA)，通过全面探索自知识蒸馏与对抗训练的组合应用于目标检测中，实现比现有方法更好的性能。在 PASCAL-VOC 和 MS-COCO 基准测试中，UDFA 可以超越标准训练和最先进的对抗训练方法，提高了准确度，并提高了鲁棒性。

Nov, 2021

本研究提供了一种新的观点解决深度神经网络在三维点云中对敌对攻击的防御问题。研究采用多元线性回归分析 14 个点云特征，寻找最佳组合以实现模型无关的对抗点预测。实验结果证明该方法可以在 PointNet、PointNet++ 和 DGCNN 三种神经网络中更好地预测对抗点，并揭示哪些特征在它们的决策过程中起着关键作用。

Oct, 2022

该研究提出一种新的对抗蒸馏机制，用于在没有真实数据的情况下制作紧凑的学生模型，这种数据免费的方法在分类和语义分割中表现出与基于数据驱动的方法相当的性能甚至更好。

Dec, 2019

本文提出一种在线对抗蒸馏方法，通过以团体知识来作为动态虚拟教师和有效地捕获图神经网络中的结构变化来同时训练一组图神经网络。在这个方法中，我们通过传输反映图拓扑和节点属性信息的本地知识和反映类预测的全局知识来增强彼此的性能，以提高蒸馏性能。

Dec, 2021

提出了一种非常快的视频异常检测模型，通过从多个高精度的目标级教师模型中提取知识来学习检测异常。通过联合应用标准和对抗蒸馏，利用对每个教师的对抗鉴别器来区分目标和生成的异常图，从而提高了学生的保真度。对三个基准数据集（Avenue，ShanghaiTech，UCSD Ped2）进行实验，结果表明，该方法比最快的竞争方法快 7 倍以上，并且比以目标为中心的模型快 28 到 62 倍，同时获得了与最近方法相当的结果，且速度达到了 1480 FPS，是速度和精度之间的最佳权衡。此外，我们进行了全面的剖析研究，以证明我们的架构设计选择的合理性。

Nov, 2022