研究探讨了使用合成数据进行量化方法时，整体性能、各种族细分性能和种族偏见，对深度学习模型在人脸识别中的应用进行压缩的潜在好处，对大多数测试场景的偏差减少等方面进行了分析。

Aug, 2023

探索基于转换器的图像鉴定算法中的公平性和模型偏差。

Oct, 2023

深度学习算法在提高人类任务自动化能力方面发挥了重要作用，然而，这些模型性能的巨大提升与其日益复杂性高度相关，限制了它们在以人为本的应用中的实用性，而这些应用通常部署在资源受限的设备上。因此，我们需要压缩技术来大幅减小深度学习模型的计算和内存成本，同时又能保持较高的性能。本文通过对模型压缩技术的综述，特别关注量化、知识蒸馏和修剪等方法在生物特征识别应用中的应用，从而对该领域的研究现状进行了系统化总结。我们对这些技术的比较价值进行了关键分析，着重讨论了它们的优点和缺点，并提出了进一步研究方向的建议，以改进当前的方法。此外，我们还讨论和分析了模型偏见与模型压缩之间的联系，强调了未来的研究需要将压缩技术引向模型公平性的方向。

Jan, 2024

本文研究了人脸表情识别中的偏见与公平性问题，并对三种不同的方法在两个不同数据集上进行了比较，结果表明，使用数据增强的属性感知方法和解缠方法比基线方法更具准确性和公平性，在减轻人口统计学偏见方面，解缠方法是最好的选择。

Jul, 2020

该论文探讨了神经网络压缩技术所产生的 Compression Identified Exemplars（CIE）对算法偏差的影响，并提议将 CIE 作为人类审核工具，以检查数据集中最具挑战性的示例。

Oct, 2020

在深度学习模型使用高维输入和主观标签进行训练时，公正性依然是一个复杂且缺乏研究的领域。面部情绪识别是一个数据集往往存在种族不平衡问题的领域，可能导致模型在不同种族群体之间产生不同的结果。本研究聚焦于通过对具有多样种族分布的训练集进行子采样，以及评估这些模拟中的测试性能来分析种族偏见。我们的发现表明，较小的数据集中的伪造面孔可以在接近种族平衡的模拟中提高公正性和性能指标。值得注意的是，F1 分数平均增加了 27.2 个百分点，人口统计学平等指标平均增加了 15.7 个百分点。然而，在具有更多面部变化的较大数据集中，公正性指标通常保持不变，这表明仅仅种族平衡是无法在不同种族群体之间实现测试性能的平等的。

Aug, 2023

本文首次研究了模型压缩技术对生成性语言模型的毒性和偏见的影响，我们在 GPT2 模型上测试了知识蒸馏和剪枝方法，发现模型蒸馏后有毒性和偏见的减少，这个结果可以被解释为模型压缩的正则化技术，我们的工作不仅可以作为压缩模型安全部署的参考，而且将 “压缩作为正则化” 的讨论扩展到了神经语言模型领域，并暗示了使用压缩来开发更加公平的模型的可能性。

Jan, 2022

本文研究图像压缩对图像分类、目标检测及语义分割等三种视觉识别任务准确性的影响。研究采用传统编解码器及最新的神经压缩方法进行实验，探究压缩比从 0.1 到 2bpp 下的识别准确度。实验发现，在强压缩下，三个任务的识别准确度都会受到显著影响。通过在压缩的训练图像上对识别模型进行微调，可以从一定程度上恢复性能损失。

Apr, 2023

该研究论文介绍了一种以高效为驱动的模型量化方法，使用比传统方法小 440 倍的数据集进行微调，通过引入评估基于指标的损失，该方法在 IJB-C 数据集上实现了 96.15% 的准确率，建立了面部识别领域新的压缩模型训练的最新技术。

Feb, 2024

本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

Oct, 2017