提高人脸识别模型在未知数据上的公平性分类

Apr, 2024

提高人脸识别模型在未知数据上的公平性分类

Increasing Fairness in Classification of Out of Distribution Data for Facial Recognition

Gianluca Barone, Aashrit Cunchala, Rudy Nunez

TL;DR通过在多个数据集的脸部图像中同时训练，我们研究了异常数据量模型的性能，观察到 Outlier Exposure 方法可以提高模型的准确性和其他度量指标，并通过引入可训练的权重参数以及重新加权不同类别标签的重要性来增强模型的表现。同时，我们还进行了实验，比较了通过图像特征和平均像素值对图像进行排序以及检测异常值的效果，并测试了数据集的逆序是否对模型的准确性产生影响，以期使模型不仅更准确，而且更公平。

Abstract

Standard classification theory assumes that the distribution of images in the test and training sets are identical. Unfortunately, real-life scenarios typically feature unseen data ("out-of-distribution data") wh

classification theory out-of-distribution data neural network outlier exposure model facial images

发现论文，激发创造

训练置信度校准的分类器用于检测离分布样本

本文提出了一种新的分类器训练方法，通过对深度神经网络引入两个额外的术语来增强分类器的推断性能，并同时训练分类和生成神经网络以解决样本的分布问题，该方法在多个流行的图像数据集上通过使用深度卷积神经网络的实验证明了其有效性。

Nov, 2017

在线准确性：关于样本内外泛化的强相关性

通过对 CIFAR-10、ImageNet、FMoW-WILDS 和 iWildCam-WILDS 等模型和数据集的实证研究，我们展示了机器学习系统在未知、分布不同的环境中表现的强相关性，并提供了基于高斯数据模型的理论解释。

Jul, 2021

基于分布感知的公平性测试生成

该研究提出了一种称为 DistroFair 的分布感知公平性测试方法，通过组合分布感知图像变异、无分布测试和语义保留图像变异等方法，系统地揭示了图像分类器中的类级公平性违规，并通过评估结果表明，DistroFair 比传统方法更加有效。

May, 2023

训练公平神经网络的技术挑战

机器学习算法已被广泛应用在各种领域，然而由此带来的公平性问题在高风险案例（如人脸识别和医学影像分析）中引起了极大关注。本文针对深度神经网络中公平性的限制条件及其行为矫正方法的有效性进行了研究，实验结果表明，在特定公平度量下，大型模型会对公平的过度拟合而产生一系列意外和不良后果。

Feb, 2021

深度稳健学习 - 针对外部分布泛化

本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

Apr, 2021

转移学习中的越界泛化测量

本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。

Jul, 2022

利用扩散扰动衡量计算机视觉中的公平性

通过扩散模型生成多个包含不同种族标签的职业图像集，我们发现使用非高加索标签生成的图像的职业错误分类率显著高于使用高加索标签生成的图像，且部分错误分类表明存在种族偏见。通过计算对不同身份群体预测的真实职业标签的概率标准差，我们测量了模型的公平性。使用这个公平性指标，我们发现在评估的视觉和语言模型之间存在显著差异。我们希望我们的研究展示了使用扩散方法进行公平性评估的潜在价值。

Nov, 2023

稳健性的多重面貌：对于越界泛化的关键分析

本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

Jun, 2020

解决面部情感识别中的种族偏见

在深度学习模型使用高维输入和主观标签进行训练时，公正性依然是一个复杂且缺乏研究的领域。面部情绪识别是一个数据集往往存在种族不平衡问题的领域，可能导致模型在不同种族群体之间产生不同的结果。本研究聚焦于通过对具有多样种族分布的训练集进行子采样，以及评估这些模拟中的测试性能来分析种族偏见。我们的发现表明，较小的数据集中的伪造面孔可以在接近种族平衡的模拟中提高公正性和性能指标。值得注意的是，F1 分数平均增加了 27.2 个百分点，人口统计学平等指标平均增加了 15.7 个百分点。然而，在具有更多面部变化的较大数据集中，公正性指标通常保持不变，这表明仅仅种族平衡是无法在不同种族群体之间实现测试性能的平等的。

Aug, 2023

马哈拉诺比斯感知训练用于外部分布检测

在本研究中，我们提出了一种新的损失函数和网络训练方法，以提高密度感知的开放世界环境中对异常和越界样本的检测能力，并在 CIFAR-10 数据集上进行了验证，将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。

Nov, 2023