AITTI: 文本到图像生成的自适应包容性标记学习

Jun, 2024

AITTI: 文本到图像生成的自适应包容性标记学习

AITTI: Learning Adaptive Inclusive Token for Text-to-Image Generation

Xinyu Hou, Xiaoming Li, Chen Change Loy

TL;DR通过学习自适应的包容性标记，我们提出了一种方法来消除生成模型中出现的陈词滥调偏见，该方法无需明确的属性规范或先验知识。具体而言，我们的方法使用轻量级自适应映射网络定制包容性标记以消除待消除概念的偏见，并通过锚定损失使用少量平衡与包容性样本来调整自适应映射网络，从而使这些标记对于原始偏见分布无论概念是否为已知概念都能推广。实验结果表明，我们的方法在不需要属性规范的情况下优于先前的偏见缓解方法，并保持了生成结果与文本描述之间的对应关系。此外，我们的方法在消除文本到图像生成中的陈词滥调偏见方面具有与需要特定属性或编辑指令的模型相当的性能。大量实验证明了我们自适应包容性标记在消除文本到图像生成中的陈词滥调偏见方面的有效性。

Abstract

Despite the high-quality results of text-to-image generation, stereotypical biases have been spotted in their generated contents, compromising the fairness of generative models. In this work, we propose to learn

text-to-image generation stereotypical biases bias mitigation methods adaptive inclusive tokens generative models

发现论文，激发创造

改进文本到图像扩散模型实现公平

快速采用的文本到图像扩散模型强调了解决其偏见的迫切需求。本研究将公平性视为分布对齐问题，提出了两个主要技术贡献：（1）分布对齐损失，将生成的图像的特定特征引导向用户定义的目标分布；（2）扩散模型抽样过程的有偏直接微调，利用有偏梯度更有效地优化生成图像上定义的损失。实证结果显示，我们的方法显著降低了职业提示中的性别、种族及其交叉偏见。即使只微调五个软记号，性别偏见也显著降低。关键是，我们的方法支持超越绝对平等的多样观点公平，如同时控制年龄分布为 75％年轻和 25％年长的情况下消除性别和种族偏见。最后，我们的方法具有可扩展性：通过将这些提示包含在微调数据中，可以同时消除多个概念的偏见。我们希望我们的工作有助于文本到图像生成人工智能的社会调整。我们将共享代码和各种消除偏见的扩散模型适配器。

Nov, 2023

ITI-GEN：包容性文本到图像生成

通过利用现有的参考图像，提出了一种无需模型微调的生成模型，并在代表所有所需属性类别的图像上进行大幅改进。

Sep, 2023

公平文本到图像扩散通过公平映射

通过修改预训练的文本到图像模型以控制提示语，我们提出了一种称之为公平映射的通用、无模型依赖和轻量级方法，以解决现有文本到图像扩散模型在生成人类相关描述时产生有偏见图像的限制。

Nov, 2023

消除文本到图像扩散模型的偏见

目前的学习型文本到图像模型存在社会偏见问题，本研究提出了一种基于迭代分布对齐的方法，通过权重优化来解决社会偏见问题。

Feb, 2024

公平扩散：教导文本到图像生成模型公平性

通过一项称为公平扩散的新策略，无需数据筛选和额外培训，即可在没有任何偏见的情况下指导生成模型的公平性和防止其加重偏见。