这项研究分析了由三种流行的生成人工智能工具生成的图像 - Midjourney、Stable Diffusion 和 DALLE 2 - 代表各种职业，以调查 AI 生成器中潜在的偏见。我们的分析揭示了这些 AI 生成器中两个主要关注领域，包括（1）系统性的性别和种族偏见，以及（2）面部表情和外貌方面的微妙偏见。

Mar, 2024

本文研究探讨了生成 AI 技术中，AI 加入真实数据之后可能会产生回馈循环并导致未来模型的降级和多样性降低的情况，从而产生社会影响。同时，对于如何缓解这种回馈循环以及降低未来技术模型降级的影响也提出了相关问题。

Jun, 2023

本论文探究了扩散模型在人脸生成中存在的偏见来源，如性别、种族和年龄等属性，并调查了数据集大小对不同属性类别下扩散模型和对抗生成网络（GAN）模型的属性组成和感知质量的影响，结果发现扩散模型往往会恶化训练数据的分布偏见，同时受到数据集大小的影响，而拥有较多样本的平衡数据集训练的 GAN 模型在不同属性方面表现出较小的偏差。

May, 2023

本文旨在通过记录模型与数据的交互过程，以改善未来爬取的 Internet 数据集的信息稳定性。我们发现模型输出表现为源自训练集的样本具有一致性校准时，偏见放大的程度与模型预测的性别偏差等测试时偏差统计显著相关，如果同时在三个条件预测场景中使用，能更好的校准和稳固反馈系统。

Sep, 2022

使用逐步条件生成模型和贝叶斯优化的方法，通过生成对抗网络来分析分类器在种族和性别方面的偏差。

May, 2019

本文研究了文本到图像领域中的偏差放大现象，通过比较训练和生成的图像中的性别比例，发现模型似乎放大了训练数据中存在的性别职业偏见。然而，我们发现放大主要归因于训练字幕和模型提示之间的差异。当我们考虑到训练和生成所使用的文本之间的各种分布差异后，观察到放大程度显著降低。我们的研究结果说明了比较模型和训练数据中的偏见的挑战，并强调了导致偏见放大的混淆因素。

Aug, 2023

图像模型的嵌入空间已经被证明可以编码一系列的社会偏见，该研究调查了对于视觉转换器（ViT）中出现这些偏见的具体因素，并测量了训练数据、模型架构和训练目标对 ViTs 学习表示中的社会偏见的影响。研究结果表明，基于反事实增强训练的扩散式图像编辑可以缓解偏见，但并不能完全消除；而且，相较于小模型，我们发现大模型的偏见较少，并且使用辨别目标进行训练的模型比使用生成目标进行训练的模型偏见较少。此外，我们观察到学习到的社会偏见存在不一致性，令人惊讶的是，当使用不同的自监督目标在相同数据集上训练时，ViTs 可能表现出相反的偏见。我们的发现揭示了导致社会偏见出现的因素，并提出了基于模型设计选择可以实现相当大程度的公平改善。

Aug, 2023

研究表明，现在机器学习模型能够将用户写的文本描述转换成逼真的图像，并且这些模型现在可以在线使用，每天可生成数百万张图像。然而，我们发现这些模型放大了危险和复杂的刻板印象，并且这些放大的刻板印象难以预测，用户或模型所有者也难以减轻其影响。这些图像生成模型的大规模部署是否会延续和放大刻板印象，这是非常值得关注的问题。

Nov, 2022

本文提出一个系统研究深度生成模型的偏差和泛化的框架，并通过认知心理学实验方法探讨其生成新属性和组合的特点与人类心理学的相似之处。作者发现这些模式与常用模型和结构一致。

Nov, 2018

机器学习中的偏见放大是一个常见的问题，需要加深对于模型机制的理解，本研究通过控制性实验发现，偏见放大可能由于模型准确度、能力、自信度以及训练数据量等因素产生，同时也可能与分组和分类任务的难易程度相关，研究结果对指导训练机器学习模型具有借鉴意义。

Jan, 2022