DSAP：通过数据集的人口统计比较分析偏见
计算机决策系统在许多日常生活的方面得到广泛应用，但其中可能存在性别、种族或其他偏见问题。本研究提出一种鲁棒的方法，通过真实世界数据提取出表征人口平衡和真实性的数据集，用于训练分类器，并测试其泛化能力，证实计算机辅助决策中不存在明示或隐含偏见。
Sep, 2023
本研究提出了一种新的度量方法，用于评估多类多人口统计分类问题中面部表情识别中的代表性和刻板印象偏见以及训练模型的残余偏见。这些度量结合在一起，可以用于研究和比较不同的偏见缓解方法。在对 Affectnet 数据集进行分析后，我们发现其中存在巨大的种族偏见和性别定型，并提供了不同人口统计属性的不同子集来训练模型。
May, 2022
本文研究基于深度学习技术的面部识别、年龄估计、性别识别和亲属关系验证模型中存在的人口统计学偏差，并通过引入规模最大、最全面的面部图像和视频数据集及手动注释，揭示了基于最先进模型的拟合性能和偏差，最后引入和验证了去偏嵌入网络的方法。
May, 2020
DAFair 是一种用于减轻语言模型中社会偏见的新方法，通过预定义的典型人口统计文本，并在微调过程中加入正则化项来纠正模型的表示中的偏见，从而在两个任务和两个模型上实证结果显示了我们方法的有效性。此外，即使在有限的人口统计注释数据下，我们的方法也优于常见的去偏方法。
Mar, 2024
该研究引入了 Sonos Voice Control Bias Assessment Dataset，一个包含控制人口统计学标签的大型数据集，通过针对音乐领域的语音助手请求（1,038 名说话者，166 小时，170k 音频样本，9,040 个唯一标记的转录文本）进行了控制人口统计多样性（性别、年龄、方言区域和种族）。研究还提出了一种统计的人口统计偏见评估方法，适用于这种特定的用例，并利用口语理解度量标准而非转录准确性，我们认为后者更能代表用户体验。通过考虑一对最先进的自动语音识别和口语理解模型，展示了该数据集和统计方法检测人口统计偏见的能力。结果表明在年龄、方言区域和种族之间性能存在统计上显著差异。多变量测试对于阐明方言区域、性别和年龄之间的混合效应至关重要。
May, 2024
该研究论文探讨了一种根据样式生成对抗网络（StyleGAN）潜在空间的简单方法，用于生成平衡且可能无偏差的合成数据集，以用于训练、规范化或评估基于深度学习的人脸识别模型，并证明了可以有效地合成任何组合的人口统计学群体。
Sep, 2023
通过提出一种生成综合面部多样性数据集的方法，本研究旨在解决现有面部图像数据集集中在年龄、性别和肤色等少数面部属性上的问题，从而提高 AI 系统的鲁棒性。这种方法不仅包括人口统计学和生物识别特征，还涵盖了妆容、发型和配饰等非永久性特征，通过引导最先进的文本到图像模型生成高质量、逼真的综合数据集，并可用于面部分析系统的评估。与现有数据集相比，我们提出的数据集在图像分类任务中同样具有或更高的挑战性，同时大小更小。
Apr, 2024
介绍 DispaRisk，这是一种新颖的框架，旨在在 ML 流程的初期阶段，主动评估数据集中差异的潜在风险。通过与公平研究中常用的数据集进行基准测试，我们发现 DispaRisk 能够识别具有高歧视风险、易受偏见影响的模型家族以及增加 ML 流程中歧视敏感性的特征。
May, 2024