本文通过在人脸识别领域，将知识蒸馏模型迁移到非分类任务中，提出了一种新的模型蒸馏方法；实验证明此方法可使蒸馏后的模型在人脸对齐和人脸验证任务中达到与原模型相当的性能，并在一些具体的压缩比下超越原模型。

Sep, 2017

我们提出一种面向评估的知识蒸馏方法(EKD)，使用评估指标直接减少教师和学生模型之间的性能差距，在比较学生和教师模型在面部识别中的误报率和正确识别率后，通过一个基于排名的损失函数将学生模型中关键关系约束为教师模型中对应的关系。实验结果表明，我们的 EKD 方法优于现有的竞争方法。

Jun, 2022

该研究论文提出了一种新的逆概率加权蒸馏 (IPWD) 方法，用于解决知识蒸馏时两个领域之间数据分布不同的问题，该方法通过对样本的倾向得分估计进行加权，以弥补非独立同分布的数据中低频样本的不足，有效提高了知识蒸馏的准确度。

Oct, 2022

本文针对面部识别中logits蒸馏的性能较差问题，提出分组知识蒸馏算法组（GKD），通过分割logits并将蒸馏分为主要知识，次要知识和二进制知识，仅保留主要知识和二进制处理，忽略次要知识，从而提高轻量级学生模型的性能

Apr, 2023

通过分析压缩数据集技术对隐私、模型鲁棒性和公平性的影响，本文提出了一个评估这一技术的大规模基准测评框架。

May, 2023

通过使用综合数据，我们提出了一个新的框架（称为SynthDistill），通过提取预训练教师人脸识别模型的知识，来训练轻量级人脸识别模型，从而解决了轻量级模型训练的困难。我们使用综合数据来生成人脸图像，并且使用生成的图像来训练轻量级学生网络。实验证明，相比之前综合数据的训练模型，我们的轻量级模型达到了99.52%的LFW数据集的验证准确率，并且我们提出的框架显著减小了真实数据和综合数据训练之间的差距。

Aug, 2023

通过使用小规模逆置数据进行知识蒸馏，提高训练效率的数据无关知识蒸馏(SSD-KD)方法在图像分类和语义分割基准测试中展示了超强的性能和高效的训练。

Jun, 2024

使用自适应知识蒸馏方法AdaDistill在深度人脸识别中，通过利用高性能教师模型的知识来提高紧凑学生模型的性能。AdaDistill将知识蒸馏概念嵌入到带有蒸馏类中心的边际惩罚softmax损失中，通过在训练迭代中控制学生的学习能力进展来相对调整蒸馏的知识，无需调整任何超参数。大量实验证明了AdaDistill可以增强学生的判别学习能力，并在多个具有挑战性的基准测试中展示了对各种最先进竞争者的优越性。

Jul, 2024

本研究解决了面部识别系统在不同种族数据上表现不均的问题。我们提出了一种多元专业教师框架，通过训练针对单一种族的四位教师，在一个共同空间中提炼知识，从而提升学生网络的性能并减少偏见。实验结果表明，采用具有偏见的教师显著优于从平衡数据集训练的教师获取的知识。

Aug, 2024

本研究解决了面部识别中真实数据与合成数据的使用在准确性和公平性方面的矛盾。通过采用多种生成方法，本研究发现基于扩散模型生成的合成数据在提高模型准确性方面具有较高的有效性，而来自预训练生成方法的平衡数据对公平性的影响微乎其微，甚至在某些情况下加剧了不公平现象。

Sep, 2024