扩散式人脸生成模型的偏差分析
本文提出了一种用于平衡生成图像的面部属性的新方法,通过在扩散模型的潜在空间中使用高斯混合模型 (GMM) 来定位面部属性的平均值,从而减小生成过程中的偏差。我们的方法不需要重新训练,而是实时定位子空间来减小生成公平数据的偏差,并保持生成样本的质量。在多个人脸属性数据集上对我们的方法进行评估,结果表明我们的方法在代表性公平性方面实现了更公平的数据生成,同时保持了生成样本的质量。
Dec, 2023
利用定性和定量指标以及用户研究,本论文主要研究了生成模型在面部图像生成中的有效性和不足之处,并提出了一个框架来审核生成的面部图像的特征。通过对最先进的文本到图像扩散模型生成的面部进行应用,我们发现面部图像生成存在的限制包括对文本提示的忠实度、人口统计不平衡和分布偏移。此外,我们还提出了一种分析模型,以了解训练数据选择如何影响生成模型的性能。
Sep, 2023
合成数据在解决处理真实面部数据的伦理和法律挑战中作为真实数据的替代品出现。我们研究了合成面部识别数据集的多样性与真实数据集的对比,以及生成模型的训练数据分布如何影响合成数据的分布。我们还研究了在比较最近三个基于合成数据的面部识别模型与基准模型 (基于真实数据) 在所研究属性上的具体偏差。结果显示,生成器生成的不同属性具有与所使用的训练数据相似的分布。在偏差方面,合成模型与真实模型具有类似的偏差行为。然而,发现较低的内部一致性似乎有助于减少偏差。
Nov, 2023
提出了一种无需额外数据或模型重新训练的去偏置方法,利用属性分布引导生成的图像,通过 Attribute Distribution Predictor(ADP)建立属性分布预测器,从而实现公平生成,并通过生成数据平衡训练集来训练公平属性分类器。
Feb, 2024
通过对 Flickr Faces HQ 数据集上训练的 StyleGAN2 生成模型进行分析,本文提出了两种采样策略来平衡生成的人脸图像中选择属性的表示,并揭示了针对非常年轻和非常年老年龄组以及女性面孔的随机采样图像分布中出现的偏差。通过在潜在空间上选择特定的线或球来增加来自欠代表类的生成样本数量,以减轻偏差,并在不同质量级别上呈现出受保护特征的更均匀分布。
May, 2024
通过使用预先训练的扩散模型,我们提出了一种名为 DiffInject 的简单而强大的方法,用于增强合成的偏置冲突样本,从而显著推进了扩散模型在去偏置中的应用。该方法不需要对偏置类型或标记进行明确的了解,使其成为一个完全无监督的去偏置设置。我们的方法在有效降低数据集偏差方面表现出显著的结果。
Jun, 2024
使用合成图像的方法探索扩散模型的两个应用领域(图像编辑和分类),从而揭示了目前最先进的开源文本到图像模型 Stable Diffusion 中存在的具有意义且显著的交叉社会偏见,这对于下游任务和服务中文本到图像基础模型的不加思考的应用提出了警告。
Dec, 2023
该研究使用生成对抗网络 (GANs) 生成面孔,发现在生成图像的过程中,训练数据中的偏见被放大。为了解决这个问题,提出了一种可解释的基准方法来平衡产生的面部属性,从而产生更平衡的数据。同时,该方法具有泛化能力来处理多个属性以及细分组的样本合成,进而用于量化商业人脸属性分类器和人脸超分辨率算法中的偏见。
Dec, 2020