ECCVSep, 2020

ECCV 2020 的 FairFace Challenge：分析人脸识别中的偏见

PDF
TL;DR本文总结了 2020 年 ChaLearn Looking at People Fair Face Recognition and Analysis Challenge 的评测结果和优胜解决方案，并提供了对结果的分析。这个比赛的目的是评估提交算法在其他混淆因素存在时的准确性和性别和肤色方面的偏见。参赛者使用一个不平衡的数据集进行了评估，这模拟了 AI 模型在不平衡数据上训练和评估的真实世界情况。最终该比赛吸引了 151 个参与者，36 个团队进入了最后一轮。其中 10 个团队在实现非常低的偏见指标的同时，超过了 0.999 的 AUC-ROC。参赛者们常用的策略包括面部预处理、数据分布的同质化、使用有偏向性的损失函数和集成模型。前 10 名团队的分析还表明，对于肤色较暗的女性，虚假阳性率较高，同时，佩戴眼镜和年龄较小也会增加虚假阳性率。
face recognitionbias evaluationalgorithm evaluationin-the-wild datasetconfounding attributes
发现论文，激发创造
  • 解决面部情感识别中的种族偏见

    在深度学习模型使用高维输入和主观标签进行训练时，公正性依然是一个复杂且缺乏研究的领域。面部情绪识别是一个数据集往往存在种族不平衡问题的领域，可能导致模型在不同种族群体之间产生不同的结果。本研究聚焦于通过对具有多样种族分布的训练集进行子采样，以及评估这些模拟中的测试性能来分析种族偏见。我们的发现表明，较小的数据集中的伪造面孔可以在接近种族平衡的模拟中提高公正性和性能指标。值得注意的是，F1 分数平均增加了 27.2 个百分点，人口统计学平等指标平均增加了 15.7 个百分点。然而，在具有更多面部变化的较大数据集中，公正性指标通常保持不变，这表明仅仅种族平衡是无法在不同种族群体之间实现测试性能的平等的。

    Aug, 2023

  • 迈向公正的面部验证：对人口统计偏见的深入分析

    通过深入分析，本文重点讨论了涉及种族、年龄和性别等因素的交叉偏见问题，提出了在当前文献中较少探索的种族、年龄和性别组合方面的性能差异。此外，本文在定量分析中引入了五个补充指标，包括不公平影响和不公平待遇指标，以克服当前主流方法中常被忽视的重要局限。研究结果表明，人脸识别系统存在普遍偏见，不仅限于种族，不同的人口统计因素导致显著不同的结果。通过揭示这些偏见及其影响，本文旨在促进进一步研究，以开发更公正、更公平的人脸识别和验证系统。

    Jul, 2023

  • FACET：计算机视觉评估基准的公平性

    计算机视觉模型在性别和肤色等属性方面存在已知的性能差异。本论文提出了一个名为 FACET（计算机视觉公平性评估）的新基准，它是一个大型、公开可用的评估集，包括 32,000 张图片，用于图像分类、目标检测和分割等常见视觉任务。我们通过对 FACET 中的每张图像进行手动标注，包括感知肤色和发型类型等与人相关的属性，手动绘制边界框，并标记诸如唱片骑师或吉他手等精细的与人相关的类别。我们利用 FACET 对最先进的视觉模型进行基准测试，并展示潜在的性能差异和挑战。我们的研究结果显示，分类、检测、分割和视觉定位模型在人口属性和属性交叉上存在性能差异。这些伤害表明，在这些视觉任务中，并不是所有的人都能得到公平和公正的对待。我们希望使用我们的基准测试结果能够为更加公平、更加稳健的视觉模型做出贡献。FACET 在该 https URL 上公开可用。

    Aug, 2023

  • 探究深度面部分析中的偏差：KANFace 数据集和实证研究

    本文研究基于深度学习技术的面部识别、年龄估计、性别识别和亲属关系验证模型中存在的人口统计学偏差，并通过引入规模最大、最全面的面部图像和视频数据集及手动注释，揭示了基于最先进模型的拟合性能和偏差，最后引入和验证了去偏嵌入网络的方法。

    May, 2020

  • 迈向更公平的人脸识别数据集

    利用生成的训练数据集中的人口属性平衡机制，提出了一种全面的评估方法，旨在促进更公平、透明的人脸识别和验证，并发现在减少人口属性不公平的同时，性能差距仍然存在。

    Jun, 2024

  • FairFace: 面部属性数据集，平衡种族、性别和年龄

    本研究构建了一个包含 108,501 张图像的人脸图像数据集，强调数据集的平衡种族构成，通过对基于此数据集训练模型和评估性能的实验，发现模型的准确性较高且与种族和性别无关。

    Aug, 2019

  • 理解偏见需真正均衡的数据集？影响准确性的因素并非身份和图像数量

    本文讨论人脸识别准确率差异的问题，指出虽然许多数据集都平衡了各个人群中身份的数量和图像的数量，但身份和图像数量并不是影响一对一人脸匹配准确性的决定因素，因此需要一个更具有偏差意识的工具包来创建跨人群的平衡评估数据集。

    Apr, 2023

  • 探究面部表情识别中的偏见与公正

    本文研究了人脸表情识别中的偏见与公平性问题，并对三种不同的方法在两个不同数据集上进行了比较，结果表明，使用数据增强的属性感知方法和解缠方法比基线方法更具准确性和公平性，在减轻人口统计学偏见方面，解缠方法是最好的选择。

    Jul, 2020

  • 评估人工智能公正性的探索：Casual Conversations 数据集

    介绍了一个新的数据集，包含跨年龄、性别、肤色和环境光条件的多样性，用于帮助研究者评估他们的计算机视觉和音频模型的准确性。此数据集可广泛应用于评估图像、音频等多个领域的应用。

    Apr, 2021

  • 深度伪造检测 AI 模型公正性的探讨

    研究发现最近深度学习模型容易出现以种族和性别等保护类别为基础的歧视。通过使用平衡的脸部数据集，探究三种常见的深度伪造检测器在保护子群体上的性能差异，发现预测性能在种族之间存在很大的差异，该研究还发现一些方法可能会导致伪造影响保护子群体，并造成检测器出现系统性别种族歧视。

    May, 2021