Aug, 2023

FACET：计算机视觉评估基准的公平性

PDF
TL;DR计算机视觉模型在性别和肤色等属性方面存在已知的性能差异。本论文提出了一个名为 FACET（计算机视觉公平性评估）的新基准，它是一个大型、公开可用的评估集，包括 32,000 张图片，用于图像分类、目标检测和分割等常见视觉任务。我们通过对 FACET 中的每张图像进行手动标注，包括感知肤色和发型类型等与人相关的属性，手动绘制边界框，并标记诸如唱片骑师或吉他手等精细的与人相关的类别。我们利用 FACET 对最先进的视觉模型进行基准测试，并展示潜在的性能差异和挑战。我们的研究结果显示，分类、检测、分割和视觉定位模型在人口属性和属性交叉上存在性能差异。这些伤害表明，在这些视觉任务中，并不是所有的人都能得到公平和公正的对待。我们希望使用我们的基准测试结果能够为更加公平、更加稳健的视觉模型做出贡献。FACET 在该 https URL 上公开可用。
computer visionperformance disparitiesfacet benchmarkdemographic attributesfairness
发现论文，激发创造
  • 性别倾斜：通过属性操作实现计算机视觉模型的反事实公平性

    本文提出了一种使用编码器 - 解码器网络开发的人脸图像合成方法，以测量商业计算机视觉分类器的反事实公平性，并报告了在线搜索服务中与职业相关的关键字中出现的偏向性，用以解释模型偏差的来源。

    May, 2020

  • ECCV 2020 的 FairFace Challenge：分析人脸识别中的偏见

    本文总结了 2020 年 ChaLearn Looking at People Fair Face Recognition and Analysis Challenge 的评测结果和优胜解决方案，并提供了对结果的分析。这个比赛的目的是评估提交算法在其他混淆因素存在时的准确性和性别和肤色方面的偏见。参赛者使用一个不平衡的数据集进行了评估，这模拟了 AI 模型在不平衡数据上训练和评估的真实世界情况。最终该比赛吸引了 151 个参与者，36 个团队进入了最后一轮。其中 10 个团队在实现非常低的偏见指标的同时，超过了 0.999 的 AUC-ROC。参赛者们常用的策略包括面部预处理、数据分布的同质化、使用有偏向性的损失函数和集成模型。前 10 名团队的分析还表明，对于肤色较暗的女性，虚假阳性率较高，同时，佩戴眼镜和年龄较小也会增加虚假阳性率。

    Sep, 2020

  • FairFace: 面部属性数据集，平衡种族、性别和年龄

    本研究构建了一个包含 108,501 张图像的人脸图像数据集，强调数据集的平衡种族构成，通过对基于此数据集训练模型和评估性能的实验，发现模型的准确性较高且与种族和性别无关。

    Aug, 2019

  • 评估人工智能公正性的探索：Casual Conversations 数据集

    介绍了一个新的数据集，包含跨年龄、性别、肤色和环境光条件的多样性，用于帮助研究者评估他们的计算机视觉和音频模型的准确性。此数据集可广泛应用于评估图像、音频等多个领域的应用。

    Apr, 2021

  • 混合公平适配器：通过混合公平适配器实现面部识别的终极公平

    本文介绍了 MixFairFace 框架，旨在提高人脸识别模型的公正性，并通过新的评估协议来公平地评估不同方法的公平表现。此外，我们提出了 MixFair Adapter 来确定和减少训练样本的身份偏差，解决了面部表征中的身份偏差问题，从而在所有基准数据集中实现了最先进的公平性能。

    Nov, 2022

  • 迈向更公平的人脸识别数据集

    利用生成的训练数据集中的人口属性平衡机制，提出了一种全面的评估方法，旨在促进更公平、透明的人脸识别和验证，并发现在减少人口属性不公平的同时，性能差距仍然存在。

    Jun, 2024

  • 视觉特征提取器系统评估的公平性指标

    该研究提出了三个公平指标，以量化视觉系统的伤害和偏见，并定义了适用于各种计算机视觉模型的精确实验方案，以促进计算机视觉研究中的公平测评。

    Feb, 2022

  • 公平人脸属性分类的分布生成增强

    基于生成模型，提出了一个新的两阶段框架来在有偏数据上训练公平的面部属性分类模型，通过编辑潜在的虚假属性并促进模型对这些属性的不变性，实现在面部属性分类中提升公平性而不损害准确性。

    Mar, 2024

  • 探究面部表情识别中的偏见与公正

    本文研究了人脸表情识别中的偏见与公平性问题，并对三种不同的方法在两个不同数据集上进行了比较，结果表明，使用数据增强的属性感知方法和解缠方法比基线方法更具准确性和公平性，在减轻人口统计学偏见方面，解缠方法是最好的选择。

    Jul, 2020

  • 评估基于数据集到模型的人口统计偏差转移：以面部表情识别为例的案例研究

    本研究提出了一种新的度量方法，用于评估多类多人口统计分类问题中面部表情识别中的代表性和刻板印象偏见以及训练模型的残余偏见。这些度量结合在一起，可以用于研究和比较不同的偏见缓解方法。在对 Affectnet 数据集进行分析后，我们发现其中存在巨大的种族偏见和性别定型，并提供了不同人口统计属性的不同子集来训练模型。

    May, 2022