严重程度可控的文本到图像生成模型的偏倚操纵

Apr, 2024

严重程度可控的文本到图像生成模型的偏倚操纵

Severity Controlled Text-to-Image Generative Model Bias Manipulation

Jordan Vice, Naveed Akhtar, Richard Hartley, Ajmal Mian

TL;DR通过利用嵌入的语言模型的数学基础，我们的技术使得在模型偏见的作用下对输出的严重程度进行可扩展和便捷的控制，同时也允许通过精确的提示工程生成通常不真实的图像，我们还演示了将此操纵用于平衡生成类别频率的构造性应用。

Abstract

Text-to-image (T2I) generative models are gaining wide popularity, especially in public domains. However, their intrinsic bias and potential malicious manipulations remain under-explored. Charting the susceptibil

text-to-image models generative models backdoor attacks prompt engineering bias

发现论文，激发创造

量化文本到图像生成模型中的偏差

对比四种最新的文本到图像生成模型的基准偏差特征与各自变体，在社会偏见和一般偏见方面提出了三种评估方法，并将该方法应用于字幕图像数据集以衡量其偏见。

Dec, 2023

文本到图像生成中的偏见调查：定义、评估和缓解

通过对 T2I（Text-to-Image）生成模型中的偏见进行研究调查，揭示了存在的社会偏见对少数群体的边缘化造成的影响，并指出在研究中存在的限制和未来的研究方向。

Apr, 2024

TIBET: 文本到图像生成模型中的偏见识别和评估

我们提出了一种通用方法，通过反事实推理来研究和量化任何文本到图像生成模型和任何提示的广泛偏见和偏差，并以语义概念的形式扩展了定量评分。

Dec, 2023

通过文本生成图像透视社交偏见

本文通过对两个流行的 T2I 模型（DALLE-v2 和 Stable Diffusion）进行广泛的自动化和人工评估实验，专注于反映出的性别、年龄、种族和地理位置之间的职业，人格特征和日常情况的生成图像，研究和量化常见的社会偏见。我们的研究结果表明，这些模型中存在严重的职业偏见和地理位置代表的日常情况。尽管可以通过增加提示本身的详细信息来缓解这些偏差，但提示缓解可能无法解决图像质量或模型在其他场景中的其他用途的差异。

Mar, 2023

通过复合触发背门在文本到图像模型中注入偏见

对文本到图像生成模型中的攻击漏洞进行了研究，证明了通过少量恶意数据样本在特殊触发条件下激活的后门攻击的可行性，突出了在操作限制下证明偏见存在的挑战，并强调了对这些漏洞的强大防御策略的需求。

Jun, 2024

GuardT2I：保护文本到图像模型免受对抗性提示攻击

通过使用生成方法增强文本到图像模型的鲁棒性，GuardT2I 框架在对抗性场景下显著优于 OpenAI-Moderation 和 Microsoft Azure Moderator 等商业解决方案。

Mar, 2024

文本图像模型分析偏差的单词级解释

本文的研究目的是探讨文本转图像模型（T2I）如何在生成图像时通过特定的单词体现出种族和性别的偏见，作者通过遮蔽语言模型计算各单词的影响得分，实验结果表明该方法能够用于识别生成图像中的社会刻板印象。

Jun, 2023

文本到图像模型中的危害放大

我们的研究论文使用形式化定义 “harm amplification”，并开发了量化伤害扩大的方法，旨在解决 Text-to-image 模型中的安全问题，并在实际部署场景中检验了不同方法的效果，包括伤害扩大对不同性别的差异影响。

Feb, 2024

文本倒装用于概念审查的后门技术

通过在 Textual Inversion 嵌入式中注入后门技术，实现概念审查，以防止个人化技术被恶意用户滥用。

Aug, 2023

文本到图像生成中的非对称偏差与对抗攻击

对文本到图像模型中的对抗攻击进行了实证研究，发现了攻击成功率的相关因素，提出了实体替换的新攻击目标，分析了对抗攻击的指标，以及成功概率高和低的条件。

Dec, 2023