计算机视觉中的公平性与偏见缓解:一项综述
本文探讨计算机视觉领域中,当进行看似不相关的任务(如活动识别或图像描述)训练时,模型学习偏见的问题,以及避免学习此类偏见的方法,并在CelebA数据集的属性分类任务中使用领域无关的训练技术,有效地减轻了现实世界中的性别偏见。
Nov, 2019
本文研究了使用公平性度量来指导模型的设计和训练的机制,提出了一种简单但可靠的方法,即在训练模型时同时实现公平,并通过详细的技术分析和实验验证了在计算机视觉训练任务中可靠地实现各种公平性度量。
Apr, 2020
本文提出了一种使用编码器 - 解码器网络开发的人脸图像合成方法,以测量商业计算机视觉分类器的反事实公平性,并报告了在线搜索服务中与职业相关的关键字中出现的偏向性,用以解释模型偏差的来源。
May, 2020
应用现有的公平性方法来增强计算机视觉中的公平性,会导致对所有组的分类器性能的降低,但本文通过扩展分类的偏差-方差分解来理论上解释了这一现象,并提出了一种自适应增强策略以改善这一问题。
Mar, 2022
本研究通过重构和最小化预期变量之间的统计相依来解决图像训练数据偏见的问题,使用包含U-net和预训练分类器的架构,将所提出的模型与最新的去偏见方法进行了对比,并展示了模型的公正性-准确性组合。
Sep, 2022
在电脑视觉和自然语言处理领域中,神经网络虽然能够取得最新成果,但是其存在数据内的建模偏见,导致人工智能领域出现了公平性的研究方向,其目的为了纠正算法偏见,提出了几种基于公平性的神经网络去偏置的方法。
Nov, 2022
计算机视觉模型在性别和肤色等属性方面存在已知的性能差异。本论文提出了一个名为FACET(计算机视觉公平性评估)的新基准,它是一个大型、公开可用的评估集,包括32,000张图片,用于图像分类、目标检测和分割等常见视觉任务。我们通过对FACET中的每张图像进行手动标注,包括感知肤色和发型类型等与人相关的属性,手动绘制边界框,并标记诸如唱片骑师或吉他手等精细的与人相关的类别。我们利用FACET对最先进的视觉模型进行基准测试,并展示潜在的性能差异和挑战。我们的研究结果显示,分类、检测、分割和视觉定位模型在人口属性和属性交叉上存在性能差异。这些伤害表明,在这些视觉任务中,并不是所有的人都能得到公平和公正的对待。我们希望使用我们的基准测试结果能够为更加公平、更加稳健的视觉模型做出贡献。FACET在该https URL上公开可用。
Aug, 2023
我们提出了一种用于评估具有歧视性基础模型(如相互对比语言预训练模型)的偏差的新分类方法,并根据该分类方法系统评估了现有的缓解这些模型偏差的方法。我们针对OpenAI的CLIP和OpenCLIP模型对关键的应用进行了评估,例如零样本分类、图像检索和图像字幕等。我们根据三个方面对所需的行为进行了分类:(i)任务是否涉及人类;(ii)任务的主观性程度(即,不同背景的人们是否会同意标注);以及(iii)任务的预期目的,是否通过公正性(即,独立于受保护属性进行决策)或代表性(即,通过最大程度地增加多样性进行决策)来更好地服务于公平性。最后,我们在十个不同的数据集上提供了二元和多值受保护属性的定量公平性评估结果。我们发现,用于公平性表示的后处理方法“公平PCA”在大多数上述任务的去偏中效果非常好,同时只带来了轻微的性能损失。然而,不同的去偏方法在不同的任务中的有效性有所不同。因此,对于特定的使用情况,应选择相应的去偏方法。
Oct, 2023
通过扩散模型生成多个包含不同种族标签的职业图像集,我们发现使用非高加索标签生成的图像的职业错误分类率显著高于使用高加索标签生成的图像,且部分错误分类表明存在种族偏见。通过计算对不同身份群体预测的真实职业标签的概率标准差,我们测量了模型的公平性。使用这个公平性指标,我们发现在评估的视觉和语言模型之间存在显著差异。我们希望我们的研究展示了使用扩散方法进行公平性评估的潜在价值。
Nov, 2023