Dec, 2023

RS-Corrector:纠正潜在扩散模型中的种族刻板印象

TL;DR近期的基于文本条件的图像生成模型在高视觉质量下展示了多样性和创造性的能力。然而,当在从互联网随机收集的数十亿大小的数据集上进行预训练时,这些模型倾向于对特定种族群体产生共同和重复的刻板印象。本文通过对公开可用的稳定扩散模型及其派生模型进行初步分析,强调了种族刻板印象的存在。为解决这些问题,我们提出了一个名为“RS-Corrector”的框架,旨在在潜在空间中建立反刻板偏好并更新潜在代码以得到优化的生成结果。矫正过程发生在推断阶段,无需对原始模型进行微调。大量实证评估表明,引入的 hemodel 有效纠正了经过充分训练的稳定扩散模型中的种族刻板印象,同时保持了原始模型的不变性。