该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

Apr, 2019

本文通过在人脸识别领域，将知识蒸馏模型迁移到非分类任务中，提出了一种新的模型蒸馏方法；实验证明此方法可使蒸馏后的模型在人脸对齐和人脸验证任务中达到与原模型相当的性能，并在一些具体的压缩比下超越原模型。

Sep, 2017

我们提出一种面向评估的知识蒸馏方法 (EKD)，使用评估指标直接减少教师和学生模型之间的性能差距，在比较学生和教师模型在面部识别中的误报率和正确识别率后，通过一个基于排名的损失函数将学生模型中关键关系约束为教师模型中对应的关系。实验结果表明，我们的 EKD 方法优于现有的竞争方法。

Jun, 2022

本文提出了一种增强版本的三元组损失函数，名为三元组蒸馏，在多个数据集上展示了其优于原始三元组损失函数的优越性，能够自适应地变化正负样本之间的间隔，从而更好地利用相似性信息来提高紧凑模型的性能。

May, 2019

利用深度学习技术和互相协同的特征提取方法，本文提出了一种名为 Mutual Distillation Learning For Person Re-identification（简称 MDPR）的新方法，以从多个角度解决人物再识别问题并提高特征表达的效果。在广泛使用的人物再识别数据集上验证了方法的有效性和优越性。

Jan, 2024

我们提出了一种用于高效生物医学实例分割的图关系蒸馏方法，考虑了实例级特征、实例关系和像素边界这三种关键知识类型。我们引入了两种图蒸馏方案：实例图蒸馏（IGD）和亲和图蒸馏（AGD），通过保持实例图和像素亲和力的一致性来传递实例特征、实例关系和边界相关的知识。实验证明了我们方法的有效性，使得学生模型的参数少于 1% 且推理时间少于 10%，同时相较于教师模型具有有希望的性能。

Jan, 2024

本文提出了一种新的 Distribution Distillation Loss 方法来缩小容易和难的样本之间的性能差距，该方法是一种简单、有效、通用的面部变形方法，并在各种类型的面部变形基准上展示了其显著优越性。

Feb, 2020

本文提出了一种基于特征蒸馏的系统方法，通过其可以降低视觉识别任务中的算法偏见，从而提高算法公正性。同时，我们在理论和实验方面验证了这种方法的有效性和可行性。

May, 2021

使用自适应知识蒸馏方法 AdaDistill 在深度人脸识别中，通过利用高性能教师模型的知识来提高紧凑学生模型的性能。AdaDistill 将知识蒸馏概念嵌入到带有蒸馏类中心的边际惩罚 softmax 损失中，通过在训练迭代中控制学生的学习能力进展来相对调整蒸馏的知识，无需调整任何超参数。大量实验证明了 AdaDistill 可以增强学生的判别学习能力，并在多个具有挑战性的基准测试中展示了对各种最先进竞争者的优越性。

Jul, 2024

该研究提出了两种解决方案，即 URFM 和 APT，帮助在人脸识别的跨体系结构知识蒸馏中解决教师和学生之间的差异性空间信息以及教师网络在处理蒸馏特定知识方面的能力不足的问题。

Jun, 2023