Feb, 2024

男性 CEO 和女性助理：通过成对定型测试探索文本到图像模型中的性别偏见

PDF
TL;DR最近所提出的大规模图文生成模型（如 DALLE-3）在新应用中表现出很大的潜力，但也面临着前所未有的公平性挑战。此研究通过提出一种新颖的配对刻板印象测试（PST）偏见评估框架来研究这些 T2I 模型中性别偏见的潜在因素。通过 PST，我们从两个方面评估了 DALLE-3：性别职业偏见和组织权力偏见。结果表明，尽管 DALLE-3 在单人情景下似乎公平甚至与刻板印象相悖，但在 PST 下仍揭示了性别职业偏见和权力关联偏见。PST 有效地揭示了 DALLE-3 中单人情景无法捕捉到的潜在性别偏见，进一步凸显了多模态生成系统中的公平性挑战。
text-to-image modelsfairness challengesgender biasespaired stereotype testdalle-3
发现论文，激发创造
  • 通过文本生成图像透视社交偏见

    本文通过对两个流行的 T2I 模型（DALLE-v2 和 Stable Diffusion）进行广泛的自动化和人工评估实验，专注于反映出的性别、年龄、种族和地理位置之间的职业，人格特征和日常情况的生成图像，研究和量化常见的社会偏见。我们的研究结果表明，这些模型中存在严重的职业偏见和地理位置代表的日常情况。尽管可以通过增加提示本身的详细信息来缓解这些偏差，但提示缓解可能无法解决图像质量或模型在其他场景中的其他用途的差异。

    Mar, 2023

  • 文本到图像生成中的偏见调查：定义、评估和缓解

    通过对 T2I（Text-to-Image）生成模型中的偏见进行研究调查，揭示了存在的社会偏见对少数群体的边缘化造成的影响，并指出在研究中存在的限制和未来的研究方向。

    Apr, 2024

  • 新工作，新性别？衡量图像生成模型中的社会偏见

    该研究提出了 BiasPainter，这是一个新颖的变态测试框架，可以准确、自动、全面地触发图像生成模型中的社会偏见，并对其公平性进行评估。实验证明，BiasPainter 成功触发了 100% 的测试案例中的社会偏见。

    Jan, 2024

  • T2IAT：衡量文本到图像生成的情感色彩和模式偏见

    本研究在探讨文本转图像生成模型领域的人类偏见及刻板印象问题，并为此提出了一种基于社会心理学中的隐性联系测验（Implicit Association Test）的文本到图像联系测试框架（Text-to-Image Association Test），通过实验验证模型在道德中性和民族刻板印象等各方面存在复杂的刻板印象行为。

    Jun, 2023

  • TIBET: 文本到图像生成模型中的偏见识别和评估

    我们提出了一种通用方法，通过反事实推理来研究和量化任何文本到图像生成模型和任何提示的广泛偏见和偏差，并以语义概念的形式扩展了定量评分。

    Dec, 2023

  • 利用物体检测分析文本到图像模型中的性别偏见

    本研究提出了一种测量文本到图像模型中偏见的新策略，通过使用指定性别和含糊指代物体的配对提示（例如 “一个拿着物品的男人 / 女人”），我们可以检查某些物体是否与某种性别有关。

    Jul, 2023

  • 文本到图像模型中的性别呈现差异审计

    本文提出了一种利用细粒度的自我表达属性研究文本到图像模型中不同性别呈现的范式（称为 Gender Presentation Differences 或 GPD），并通过人工注释量化性别指示符在输入文本中的频率差异并引入了一种新颖的指标：GEP，同时我们还提出了一种自动估计这种差异的方法。自动 GEP 指标基于我们的方法得出的相关性比基于现有 CLIP 得分的相关性更高，无论对于三个最先进的文本到图像模型如何一致，最后，在职业性别成见的背景下，我们展示了我们度量的普遍适用性。

    Feb, 2023

  • 缓解文本到图像生成系统中的刻板偏见

    本研究提出了一种总结生成文本到图像模型中的社会偏见并确保结果在不同人群之间公平的方法。我们通过在多样的文本提示下，用由各种民族、性别、职业、年龄组等组合构建的感知肤色和性别差异的合成数据对文本到图像模型进行微调，从而减轻了这种偏见。相较于基准模型，我们的多样性微调模型在感知肤色和性别方面将群体公平指标分别提高了 150% 和 97.7%。该模型生成具有感知肤色较暗和更多女性的生成图像。为推动开放研究，我们将公开发布所有文本提示和生成训练图像的代码。

    Oct, 2023

  • 多语言文本生成图像放大了性别刻板印象，工程处理可能无助于您

    文本到图像生成模型在图像质量、灵活性和文本对齐方面取得了惊人的成果，并因此在越来越多的应用中得到了应用。然而，多语言模型与单语言模型一样存在（性别）偏见。此外，这些模型将在不同语言中提供相似的结果是一种自然预期，但事实并非如此，并存在语言之间的重要差异。因此，我们提出了一个名为 MAGBIG 的新型基准，旨在促进无性别偏见的多语言模型研究。我们通过 MAGBIG 研究多语言 T2I 模型是否放大了性别偏见。为此，我们使用多语言提示来请求某个职业或特征的人物肖像图像（使用形容词）。我们的结果不仅显示模型偏离了每个性别应具有相等生成机会的规范假设，而且在不同语言之间存在很大差异。此外，我们还研究了提示工程策略，即使用间接、中性的表述，作为这些偏见的可能补救措施。不幸的是，它们只在有限程度上有所帮助，并导致更差的文本到图像对齐。因此，这项工作呼吁在图像生成中对跨语言的多样化表示进行更多研究。

    Jan, 2024

  • 笑脸女性下降：审计图像生成 AI 中的代表性和呈现性性别偏见

    本研究分析了 15,300 个 DALL-E 2 图像，发现其在男性主导领域中低估女性，而在女性主导领域中高估女性，同时揭示了这些图像中的性别偏见，需要采取女性主义干预手段以防止这些带有偏见的 AI 生成图片反馈到媒体生态环境中。

    May, 2023