本研究提出了 FairDistillation 方法，使用知识蒸馏构建较小的跨语言语言模型，控制特定偏见，成功缓解刻板印象和代表性危害。FairDistillation 方法可以以较低的成本创建更公平的语言模型。

Jul, 2022

本文提出了一种名为 CoupleFace 的有效人脸识别蒸馏方法，通过引入互动关系蒸馏（MRD）到现有蒸馏框架中，使得学生模型也能够充分利用互动关系知识，并通过丰富实验结果证明了 CoupleFace 在多个基准数据集上的有效性。

Apr, 2022

通过分析压缩数据集技术对隐私、模型鲁棒性和公平性的影响，本文提出了一个评估这一技术的大规模基准测评框架。

May, 2023

该研究介绍了 MEDFAIR 框架，可以用于医学成像机器学习模型的公平性评估和算法的基准测试，通过实验发现模型选择标准可以对公平性结果产生重要影响，并在不同的应用场景和伦理原则下提供了建议。

Oct, 2022

本文提出了一种新的知识蒸馏方法 Masked Generative Distillation (MGD)，通过引导学生的特征恢复，使用简单的掩码方式强制学生生成教师的完整特征，应用于图像分类、目标检测等各种任务中均表现良好。

May, 2022

提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

Oct, 2023

该研究提出了一种称为 DistroFair 的分布感知公平性测试方法，通过组合分布感知图像变异、无分布测试和语义保留图像变异等方法，系统地揭示了图像分类器中的类级公平性违规，并通过评估结果表明，DistroFair 比传统方法更加有效。

May, 2023

本文通过在人脸识别领域，将知识蒸馏模型迁移到非分类任务中，提出了一种新的模型蒸馏方法；实验证明此方法可使蒸馏后的模型在人脸对齐和人脸验证任务中达到与原模型相当的性能，并在一些具体的压缩比下超越原模型。

Sep, 2017

本文提出了 Feature Adversarial Distillation (FAD) 方法，在点云蒸馏中使用对抗性损失函数，通过攻击来自教师的反馈来获得学生的特征，从而在 40 倍模型压缩下，减少知识传递中的信息损失，同时保持了竞争性的性能。实验证明了该方法在 ModelNet40 和 ScanObjectNN 数据集上的有效性。

Jun, 2023

利用深度学习技术和互相协同的特征提取方法，本文提出了一种名为 Mutual Distillation Learning For Person Re-identification（简称 MDPR）的新方法，以从多个角度解决人物再识别问题并提高特征表达的效果。在广泛使用的人物再识别数据集上验证了方法的有效性和优越性。

Jan, 2024