Aug, 2023

文本生成图像中的偏差放大悖论

PDF
TL;DR本文研究了文本到图像领域中的偏差放大现象，通过比较训练和生成的图像中的性别比例，发现模型似乎放大了训练数据中存在的性别职业偏见。然而，我们发现放大主要归因于训练字幕和模型提示之间的差异。当我们考虑到训练和生成所使用的文本之间的各种分布差异后，观察到放大程度显著降低。我们的研究结果说明了比较模型和训练数据中的偏见的挑战，并强调了导致偏见放大的混淆因素。
发现论文，激发创造
  • 偏见放大的系统研究

    机器学习中的偏见放大是一个常见的问题，需要加深对于模型机制的理解，本研究通过控制性实验发现，偏见放大可能由于模型准确度、能力、自信度以及训练数据量等因素产生，同时也可能与分组和分类任务的难易程度相关，研究结果对指导训练机器学习模型具有借鉴意义。

    Jan, 2022

  • 男性也会洗衣服：多属性偏见放大

    本文拟解决了计算机视觉中的社会偏见问题，主要集中于模型使用多种属性注释时会放大潜在偏见、评估指标的局限性以及提供建议的新度量标准和方法。

    Oct, 2022

  • 深度生成模型是否会放大未来模型中的偏见？

    通过研究深度生成模型对未来计算机视觉模型中潜在社会偏见的影响，本文探讨了如果使用生成的图像作为训练数据，是否会导致偏见放大，从而造成有害内容的传播。然而，与预期相反的是，我们的研究结果显示，在特定任务中出现偏见缓解的情况，这可能与图像生成中的瑕疵（如模糊的脸部）或原始数据集中的既有偏见等因素有关。

    Apr, 2024

  • 图像字幕中社会偏见放大的量化

    本文提供了对图像字幕社会偏见放大的研究，通过对传统和现代图像字幕模型的评估和对每个指标的优缺点进行了全面的研究，提出了用于研究字幕偏见放大的 LIC 度量标准，并发现仅关注受保护属性预测的偏见缓解模型意外放大了偏见。

    Mar, 2022

  • 方向偏差放大

    该篇研究关注机器学习系统中偏见放大的问题，提出了一种新的偏差放大度量方法，并分析了其技术假设和规范意义，对其测量提出了建议。

    Feb, 2021

  • 通过文本生成图像透视社交偏见

    本文通过对两个流行的 T2I 模型（DALLE-v2 和 Stable Diffusion）进行广泛的自动化和人工评估实验，专注于反映出的性别、年龄、种族和地理位置之间的职业，人格特征和日常情况的生成图像，研究和量化常见的社会偏见。我们的研究结果表明，这些模型中存在严重的职业偏见和地理位置代表的日常情况。尽管可以通过增加提示本身的详细信息来缓解这些偏差，但提示缓解可能无法解决图像质量或模型在其他场景中的其他用途的差异。

    Mar, 2023

  • 易于访问的文本到图像生成在大规模上放大人口统计的定型观念

    研究表明，现在机器学习模型能够将用户写的文本描述转换成逼真的图像，并且这些模型现在可以在线使用，每天可生成数百万张图像。然而，我们发现这些模型放大了危险和复杂的刻板印象，并且这些放大的刻板印象难以预测，用户或模型所有者也难以减轻其影响。这些图像生成模型的大规模部署是否会延续和放大刻板印象，这是非常值得关注的问题。

    Nov, 2022

  • 文本图像生成模型的质量、偏差和性能分析

    通过 qualitatively 评估精确生成人脸、群体和指定数量对象的图片，我们不仅检查了多个文本到图像模型的性能，还进行了社会偏见分析。我们发现，容量更大的模型生成的图片质量更高，但同时这些模型也存在固有的性别或社会偏见，从而更全面地了解了它们的影响和局限性。

    Jun, 2024

  • 利用物体检测分析文本到图像模型中的性别偏见

    本研究提出了一种测量文本到图像模型中偏见的新策略，通过使用指定性别和含糊指代物体的配对提示（例如 “一个拿着物品的男人 / 女人”），我们可以检查某些物体是否与某种性别有关。

    Jul, 2023

  • 评估性别中性预训练视觉与语言模型的偏见和公平性

    在这项研究中，我们以性别偏见为案例研究，通过量化预训练和微调对三类视觉与语言模型中的偏见放大进行分析，研究了这两个学习阶段之间的联系，并评估了偏见放大对模型性能的影响。总体来说，我们发现预训练和微调中的偏见放大是相互独立的。接着，我们研究了对性别中性数据的持续预训练对 VQAv2 和检索任务的影响，发现这种方法可以减少群体间的差异并提升公平性，而不会显著影响任务性能。

    Oct, 2023