多语言文本生成图像放大了性别刻板印象，工程处理可能无助于您

Jan, 2024

多语言文本生成图像放大了性别刻板印象，工程处理可能无助于您

Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You

Felix Friedrich, Katharina Hämmerl, Patrick Schramowski, Jindrich Libovicky, Kristian Kersting...

TL;DR文本到图像生成模型在图像质量、灵活性和文本对齐方面取得了惊人的成果，并因此在越来越多的应用中得到了应用。然而，多语言模型与单语言模型一样存在（性别）偏见。此外，这些模型将在不同语言中提供相似的结果是一种自然预期，但事实并非如此，并存在语言之间的重要差异。因此，我们提出了一个名为 MAGBIG 的新型基准，旨在促进无性别偏见的多语言模型研究。我们通过 MAGBIG 研究多语言 T2I 模型是否放大了性别偏见。为此，我们使用多语言提示来请求某个职业或特征的人物肖像图像（使用形容词）。我们的结果不仅显示模型偏离了每个性别应具有相等生成机会的规范假设，而且在不同语言之间存在很大差异。此外，我们还研究了提示工程策略，即使用间接、中性的表述，作为这些偏见的可能补救措施。不幸的是，它们只在有限程度上有所帮助，并导致更差的文本到图像对齐。因此，这项工作呼吁在图像生成中对跨语言的多样化表示进行更多研究。

Abstract

text-to-image generation models have recently achieved astonishing results in image quality, flexibility, and text alignment and are consequently employed in a fast-growing number of applications. Through improvements in multilingual abilities, a larger community now has access to this

text-to-image generation models multilingual models gender bias benchmark prompt engineering strategies

发现论文，激发创造

通过文本生成图像透视社交偏见

本文通过对两个流行的 T2I 模型（DALLE-v2 和 Stable Diffusion）进行广泛的自动化和人工评估实验，专注于反映出的性别、年龄、种族和地理位置之间的职业，人格特征和日常情况的生成图像，研究和量化常见的社会偏见。我们的研究结果表明，这些模型中存在严重的职业偏见和地理位置代表的日常情况。尽管可以通过增加提示本身的详细信息来缓解这些偏差，但提示缓解可能无法解决图像质量或模型在其他场景中的其他用途的差异。

Mar, 2023

文本到图像生成中的偏见调查：定义、评估和缓解

通过对 T2I（Text-to-Image）生成模型中的偏见进行研究调查，揭示了存在的社会偏见对少数群体的边缘化造成的影响，并指出在研究中存在的限制和未来的研究方向。

Apr, 2024

TIBET: 文本到图像生成模型中的偏见识别和评估

我们提出了一种通用方法，通过反事实推理来研究和量化任何文本到图像生成模型和任何提示的广泛偏见和偏差，并以语义概念的形式扩展了定量评分。

Dec, 2023

文本到图像生成：不让任何语言掉队

本文初步探索了三种常用的文本到图像生成模型在不同语言下的性能表现，并指出使用非英语语言时性能会有显著的下降，特别是对于不常用的语言。作者讨论了不同的方式来改进模型，以确保模型在不同语言下的性能保持一致，以实现跨语言的应用和维护语言多样性。

Aug, 2022

严重程度可控的文本到图像生成模型的偏倚操纵

通过利用嵌入的语言模型的数学基础，我们的技术使得在模型偏见的作用下对输出的严重程度进行可扩展和便捷的控制，同时也允许通过精确的提示工程生成通常不真实的图像，我们还演示了将此操纵用于平衡生成类别频率的构造性应用。

Apr, 2024

基于翻译增强的多语言文本图像生成

本文研究了多语言文本到图像生成 (mTTI) 和神经机器翻译 (NMT) 在 mTTI 系统中的潜在作用，提出了 Ensemble Adapter 方案，通过实证研究多语言文本知识的加权和整合，以此来改善 mTTI 系统的性能，并在三个标准 mTTI 数据集上进行了评估。

May, 2023

文本图像生成模型的质量、偏差和性能分析

通过 qualitatively 评估精确生成人脸、群体和指定数量对象的图片，我们不仅检查了多个文本到图像模型的性能，还进行了社会偏见分析。我们发现，容量更大的模型生成的图片质量更高，但同时这些模型也存在固有的性别或社会偏见，从而更全面地了解了它们的影响和局限性。

Jun, 2024

能否控制暗示？对文本 - 图像生成模型的比较分析

通过综合分析基础提示、修饰词和顺序对 AI 文本生成模型进行的研究，揭示了稳定扩散、DALL-E 3 和 Adobe Firefly 等领先的文本到图像模型中社会偏见的微妙编码方式，从而推动了 AI 伦理学的发展并为控制偏见的未来研究提供了新的框架。

Jun, 2024

模型无关性别去偏见图像描述

本文提出名为 LIBRA 的框架，通过学习从合成有偏差的样本中减少性别偏见，从而降低图像字幕模型中的两种性别偏见类型：利用上下文以预测性别的偏见以及因性别导致生成某些（通常是刻板印象的）词语的概率的偏见。

Apr, 2023

易于访问的文本到图像生成在大规模上放大人口统计的定型观念

研究表明，现在机器学习模型能够将用户写的文本描述转换成逼真的图像，并且这些模型现在可以在线使用，每天可生成数百万张图像。然而，我们发现这些模型放大了危险和复杂的刻板印象，并且这些放大的刻板印象难以预测，用户或模型所有者也难以减轻其影响。这些图像生成模型的大规模部署是否会延续和放大刻板印象，这是非常值得关注的问题。

Nov, 2022