利用物体检测分析文本到图像模型中的性别偏见
该研究通过引入一个评估协议,旨在自动分析性别指示对稳定扩散图像的影响,从而为生成模型中的偏见和性别失衡问题做出贡献。研究发现性别指示不仅影响性别呈现,还影响生成图像中的物体和布局的表现,揭示出稳定扩散中微妙的性别偏见。
Dec, 2023
研究了物体对图像字幕系统中的性别偏见的影响,结果表明只有特定于性别的物体才有强烈的性别偏见(例如,女性口红)。此外,提出了一种基于视觉语义的性别得分,用来度量偏见程度并可作为任何图像字幕系统的插件。实验证明了性别得分的实用性,因为我们观察到我们的得分可以测量字幕和相关性别之间的偏见关系;因此,我们的得分可以作为现有的对象性别共项方法的补充指标。代码和数据公开可用于 https://github.com/ahmedssabir/GenderScore。
Oct, 2023
本文提出了一种利用细粒度的自我表达属性研究文本到图像模型中不同性别呈现的范式(称为 Gender Presentation Differences 或 GPD),并通过人工注释量化性别指示符在输入文本中的频率差异并引入了一种新颖的指标:GEP,同时我们还提出了一种自动估计这种差异的方法。自动 GEP 指标基于我们的方法得出的相关性比基于现有 CLIP 得分的相关性更高,无论对于三个最先进的文本到图像模型如何一致,最后,在职业性别成见的背景下,我们展示了我们度量的普遍适用性。
Feb, 2023
本文通过对两个流行的 T2I 模型(DALLE-v2 和 Stable Diffusion)进行广泛的自动化和人工评估实验,专注于反映出的性别、年龄、种族和地理位置之间的职业,人格特征和日常情况的生成图像,研究和量化常见的社会偏见。我们的研究结果表明,这些模型中存在严重的职业偏见和地理位置代表的日常情况。尽管可以通过增加提示本身的详细信息来缓解这些偏差,但提示缓解可能无法解决图像质量或模型在其他场景中的其他用途的差异。
Mar, 2023
本文的研究目的是探讨文本转图像模型(T2I)如何在生成图像时通过特定的单词体现出种族和性别的偏见,作者通过遮蔽语言模型计算各单词的影响得分,实验结果表明该方法能够用于识别生成图像中的社会刻板印象。
Jun, 2023
本论文通过系统的调研,研究发现了预训练模型存在性别偏见的问题,探讨了预训练模型在图像字幕生成任务中的公平性影响,并提出了一种针对这种问题的解决方案:结合 n-gram 匹配和预训练模型评估度量,以减少性别偏见的影响。
May, 2023
我们提出了一种通用方法,通过反事实推理来研究和量化任何文本到图像生成模型和任何提示的广泛偏见和偏差,并以语义概念的形式扩展了定量评分。
Dec, 2023
最近所提出的大规模图文生成模型(如 DALLE-3)在新应用中表现出很大的潜力,但也面临着前所未有的公平性挑战。此研究通过提出一种新颖的配对刻板印象测试(PST)偏见评估框架来研究这些 T2I 模型中性别偏见的潜在因素。通过 PST,我们从两个方面评估了 DALLE-3:性别职业偏见和组织权力偏见。结果表明,尽管 DALLE-3 在单人情景下似乎公平甚至与刻板印象相悖,但在 PST 下仍揭示了性别职业偏见和权力关联偏见。PST 有效地揭示了 DALLE-3 中单人情景无法捕捉到的潜在性别偏见,进一步凸显了多模态生成系统中的公平性挑战。
Feb, 2024
对多模态变压器语言模型和扩散模型等文本到图像模型进行了视觉推理能力和社会偏见的调查,提出 PaintSkills 工具集进行测量评估,发现最新的文本到图像模型在目标计数和空间关系理解技能上的性能与上限准确性之间存在较大差距,并且其在性别和肤色方面的偏见对其表现产生了影响。
Feb, 2022