潜在方向：生成式人工智能中的偏见缓解简单路径

CVPRJun, 2024

潜在方向：生成式人工智能中的偏见缓解简单路径

Latent Directions: A Simple Pathway to Bias Mitigation in Generative AI

Carolina Lopez Olmos, Alexandros Neophytou, Sunando Sengupta, Dim P. Papadopoulos

TL;DR通过学习潜在空间中的方向并仅修改扩散过程中提供的初始高斯噪声，我们的工作引入了一种新方法，实现多样性和包容性合成图像，这成功地适应了各种去偏差场景，如地理偏差。

Abstract

Mitigating biases in generative ai and, particularly in text-to-image models, is of high importance given their growing implications in so

biases generative ai text-to-image models diverse and inclusive synthetic images mitigations

发现论文，激发创造

自我发现可解释的扩散潜在方向用于负责任的文本到图像生成

通过自监督方法找到可解释的潜在方向，提出了一种简单的方法来缓解不合适的图像生成。进行了广泛实验证明了缓解方法的有效性，特别是对于公平生成、安全生成和负责任的文本增强生成。

Nov, 2023

公平扩散：教导文本到图像生成模型公平性

通过一项称为公平扩散的新策略，无需数据筛选和额外培训，即可在没有任何偏见的情况下指导生成模型的公平性和防止其加重偏见。

Feb, 2023

通过对抗学习使用提示数组消除偏差：使视觉语言模型消除偏差

研究表明，视觉 - 语言模型存在社会偏见和刻板印象，但由于缺乏测量鲁棒性和特征退化的挑战，因此需要通过排名指标和去偏方法来弥补这些多模式伤害，并发现将经过联合训练的对抗去偏和对比损失的学习嵌入附加在文本查询之前，可降低各种偏差度量，对图文表示的降级最小。

Mar, 2022

从希望到安全：通过在潜空间中强制执行正确的原因来纠正深度模型的偏见

通过减少模型对偏见的敏感性，我们提出了一种在概念层面上确保正确原因的新方法，通过梯度来建模偏见，通过选择稳健的方向来减少模型对偏见的影响，并在 ISIC、Bone Age、ImageNet 和 CelebA 数据集上使用 VGG、ResNet 和 EfficientNet 架构，在受控和实际环境中有效地减轻偏见。

Aug, 2023

改进文本到图像扩散模型实现公平

快速采用的文本到图像扩散模型强调了解决其偏见的迫切需求。本研究将公平性视为分布对齐问题，提出了两个主要技术贡献：（1）分布对齐损失，将生成的图像的特定特征引导向用户定义的目标分布；（2）扩散模型抽样过程的有偏直接微调，利用有偏梯度更有效地优化生成图像上定义的损失。实证结果显示，我们的方法显著降低了职业提示中的性别、种族及其交叉偏见。即使只微调五个软记号，性别偏见也显著降低。关键是，我们的方法支持超越绝对平等的多样观点公平，如同时控制年龄分布为 75％年轻和 25％年长的情况下消除性别和种族偏见。最后，我们的方法具有可扩展性：通过将这些提示包含在微调数据中，可以同时消除多个概念的偏见。我们希望我们的工作有助于文本到图像生成人工智能的社会调整。我们将共享代码和各种消除偏见的扩散模型适配器。

Nov, 2023

语言引导的未知数据集偏差检测与减轻

在这项研究中，我们提出了一种在没有先验知识的情况下通过关键词的部分出现来识别潜在偏见的框架，并进一步提出了两种去偏方法：(a) 通过指定伪标签将其传递给现有的需要先验知识的去偏方法，以及 (b) 通过文本到图像生成模型进行数据增强，使用获得的偏见关键词作为提示。实验结果表明，尽管简单，我们的框架不仅能在没有先验知识的情况下胜过现有方法，而且甚至可以与假设有先验知识的方法媲美。

Jun, 2024

安全隐变扩散：缓解扩散模型中的不当降解

为了解决当前依赖互联网数据随机抓取并导致人类行为退化和偏见的文本导向图像生成方法在生成图像时存在的问题，我们提出了一种名为安全潜在扩散（SLD）的图像噪声过滤方法，从而通过包含不恰当的图像提示的实际图像 - 文本提示解决了这些问题。经过详尽的实证评估表明，SLD 能够在扩散过程中去除不恰当的图像部分，不需要额外的培训，并且对图像质量或文本对齐没有负面影响。

Nov, 2022

通过连续变异因素控制生成模型

本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

Jan, 2020

公平文本到图像扩散通过公平映射

通过修改预训练的文本到图像模型以控制提示语，我们提出了一种称之为公平映射的通用、无模型依赖和轻量级方法，以解决现有文本到图像扩散模型在生成人类相关描述时产生有偏见图像的限制。

Nov, 2023

使用潜在解缠和反事实生成消除词嵌入中的性别偏见

通过 siamese auto-encoder 和 adapted gradient reversal layer 的方法，我们提出了一种注意 semantic latent 信息和 gender latent 信息的词向量去偏见化的方法，同时减小语义信息损失，显著优于现有的去偏见化方法，并适用于人工语料库的下游 NLP 任务。

Apr, 2020