本文提出使用网络蒸馏来高效计算小型网络产生的图像嵌入，通过构建两个新的损失函数模拟深度教师网络向小型学生网络通信的机制，在多个数据集上验证我们的方法，得出小型学生网络计算的嵌入明显优于使用相似大小的标准网络计算的结果。其中在可移动设备上使用的 MobileNet-0.25 产生了 44.6% 的 Recall@1 结果。同时，研究了蒸馏嵌入的各种方面，包括提示和注意力层，半监督学习以及不同质量的蒸馏。

Apr, 2019

移动设备的广泛使用为可靠的实时人脸识别验证提供了需求，本研究介绍了一种轻量级的人脸识别网络 SqueezerFaceNet，通过基于 Taylor 分数的网络剪枝方法将网络大小进一步减小，并且在不显著损失性能的情况下证明了其有效性。

Jul, 2023

通过使用综合数据，我们提出了一个新的框架（称为 SynthDistill），通过提取预训练教师人脸识别模型的知识，来训练轻量级人脸识别模型，从而解决了轻量级模型训练的困难。我们使用综合数据来生成人脸图像，并且使用生成的图像来训练轻量级学生网络。实验证明，相比之前综合数据的训练模型，我们的轻量级模型达到了 99.52% 的 LFW 数据集的验证准确率，并且我们提出的框架显著减小了真实数据和综合数据训练之间的差距。

Aug, 2023

PocketNet 是一种高度精准且轻量级的人脸识别解决方案，通过神经架构搜索和基于知识蒸馏的新型训练范式来提高模型的紧凑性和性能，并在九个基准测试中超越了当前最先进的紧凑型 FR 模型。

Aug, 2021

本研究提出了一种使用选择性知识蒸馏学习低分辨率人脸识别的方法，在损失性能的同时实现更高速度和更低内存消耗，通过优化图问题，选择性地从一个复杂的面部模型中提取最具信息量的面部特征来让一个简单的卷积神经网络完成相应识别任务。

Nov, 2018

本文提出了一种基于特征嵌入的新型教师 - 学生模型，使用局部保持损失函数优化低维特征生成，从而避免引入额外参数，通过实验证明该方法计算和存储复杂度均优于现有教师 - 学生模型。

Dec, 2018

本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使用一个中等大小的网络（即教师助手）来弥补学生与教师之间的差距，并通过对 CIFAR-10,100 和 ImageNet 数据集进行广泛的实验证明了该方法的有效性。

Feb, 2019

本文研究了特征蒸馏方法在网络压缩中的设计问题，并提出了一种新的特征蒸馏方法，其中蒸馏损失的设计使各个方面之间产生协同效应：老师变换，学生变换，蒸馏特征位置和距离函数。该方法在图像分类、目标检测和语义分割等多个任务中实现了显著的性能提升。

Apr, 2019

本文提出了一种新的蒸馏方法，该方法使用教师网络的类中心作为学生网络的训练目标，通过这种方法，能够在 LFW、AgeDB-30 和 Megaface 数据集上超越其他已知的轻量级神经网络架构蒸馏方法，实现更好的人脸识别效果。

Mar, 2020

通过深度网络剪枝等方法，对基于小型 SqueezeNet、流行的 MobileNetv2 和 ResNet50 架构的网络进行压缩，以实现移动设备上的可靠且实时的人脸识别。

May, 2024