本文提出了一种新的评估图像字幕偏见的量化评估度量 ImageCaptioner2,通过对生成的字幕进行基于提示的图像字幕评估,以评估基于图像的字幕算法的偏见,通过在 MS-COCO 字幕数据集,Artemis V1 和 Artemis V2 上对 11 种不同的基于图像的字幕结构以及三种不同的受保护属性(性别,种族和情绪)进行测试来证实该度量的有效性,并验证了我们的度量与最近的度量(LIC)相比,具有更高的人类一致性。
Apr, 2023
本文提出名为 LIBRA 的框架,通过学习从合成有偏差的样本中减少性别偏见,从而降低图像字幕模型中的两种性别偏见类型:利用上下文以预测性别的偏见以及因性别导致生成某些(通常是刻板印象的)词语的概率的偏见。
该篇研究关注机器学习系统中偏见放大的问题,提出了一种新的偏差放大度量方法,并分析了其技术假设和规范意义,对其测量提出了建议。
Feb, 2021
本文拟解决了计算机视觉中的社会偏见问题,主要集中于模型使用多种属性注释时会放大潜在偏见、评估指标的局限性以及提供建议的新度量标准和方法。
Oct, 2022
本研究分析了图像描述中的社会偏见以及种族偏见,具体关注于 COCO 数据集中的感知性别和肤色标注等因素。结果表明图像描述模型对于不同肤色的人物的表述、情感和词汇选择存在差异,并发现这种差异在现代模型中更加明显。
Jun, 2021
本论文通过系统的调研,研究发现了预训练模型存在性别偏见的问题,探讨了预训练模型在图像字幕生成任务中的公平性影响,并提出了一种针对这种问题的解决方案:结合 n-gram 匹配和预训练模型评估度量,以减少性别偏见的影响。
May, 2023
对比四种最新的文本到图像生成模型的基准偏差特征与各自变体,在社会偏见和一般偏见方面提出了三种评估方法,并将该方法应用于字幕图像数据集以衡量其偏见。
Dec, 2023
本文研究了文本到图像领域中的偏差放大现象,通过比较训练和生成的图像中的性别比例,发现模型似乎放大了训练数据中存在的性别职业偏见。然而,我们发现放大主要归因于训练字幕和模型提示之间的差异。当我们考虑到训练和生成所使用的文本之间的各种分布差异后,观察到放大程度显著降低。我们的研究结果说明了比较模型和训练数据中的偏见的挑战,并强调了导致偏见放大的混淆因素。
Aug, 2023
我们研究了在视觉和语言模型训练中使用大型未筛选数据集的不公平表现,以及如何应对这个问题,研究发现社会偏见在图像生成、图像描述和图像文本嵌入等视觉语言任务中都是一个持续而普遍的问题。
本研究介绍一种称为 Equalizer 的新方法,它可以确保在场景中遮挡性别证据时具有平等的性别概率,并在存在性别证据时具有自信的预测,以减轻描述数据集中不想要的偏见的影响。此模型在描述含人物的图像时预测其性别的错误率低于以前的工作,并更接近包括女性句子和包括男性句子的语句的实际比率。
Jul, 2018