Nov, 2022

易于访问的文本到图像生成在大规模上放大人口统计的定型观念

PDF
TL;DR研究表明，现在机器学习模型能够将用户写的文本描述转换成逼真的图像，并且这些模型现在可以在线使用，每天可生成数百万张图像。然而，我们发现这些模型放大了危险和复杂的刻板印象，并且这些放大的刻板印象难以预测，用户或模型所有者也难以减轻其影响。这些图像生成模型的大规模部署是否会延续和放大刻板印象，这是非常值得关注的问题。
machine learningnaturalistic imagesstereotypespredictmass deployment
发现论文，激发创造
  • 大规模文本图像模型中检测隐含刻板印象的语言代理

    这篇研究论文介绍了一种面向文本到图像模型的刻板印象检测的新型代理架构，并发现在个人特征、社会文化背景和犯罪相关方面存在严重的刻板印象。该论文还强调了在人工智能生成内容领域中解决潜在伦理风险的紧迫性。

    Oct, 2023

  • 通过文本生成图像透视社交偏见

    本文通过对两个流行的 T2I 模型（DALLE-v2 和 Stable Diffusion）进行广泛的自动化和人工评估实验，专注于反映出的性别、年龄、种族和地理位置之间的职业，人格特征和日常情况的生成图像，研究和量化常见的社会偏见。我们的研究结果表明，这些模型中存在严重的职业偏见和地理位置代表的日常情况。尽管可以通过增加提示本身的详细信息来缓解这些偏差，但提示缓解可能无法解决图像质量或模型在其他场景中的其他用途的差异。

    Mar, 2023

  • 友好的脸：在输入模糊不清时，文本到图像系统是否依赖于刻板印象？

    本文研究了视觉上未详细说明但包含显著社交属性的提示所生成图像的属性，发现这些图像往往会存在与刻板印象文献中报道的相似的人口统计学偏见，然而不同模型之间的趋势不一致，需要进行进一步调查。

    Feb, 2023

  • 超越表面：文本到图像生成中的全球尺度视觉刻板分析

    通过使用现有的文字资源来评估 T2I 模型生成的图像中的地缘文化刻板印象，我们的研究表明在与其他属性相比，特定身份群体的图像中刻板印象出现的可能性是其他属性的三倍，并揭示出所有身份群体的默认代表都具有刻板印象的外观。

    Jan, 2024

  • 深度生成模型是否会放大未来模型中的偏见？

    通过研究深度生成模型对未来计算机视觉模型中潜在社会偏见的影响，本文探讨了如果使用生成的图像作为训练数据，是否会导致偏见放大，从而造成有害内容的传播。然而，与预期相反的是，我们的研究结果显示，在特定任务中出现偏见缓解的情况，这可能与图像生成中的瑕疵（如模糊的脸部）或原始数据集中的既有偏见等因素有关。

    Apr, 2024

  • 面向大型语言模型的审计：提升基于文本的刻板印象检测

    本研究介绍了一个多维度刻板印象数据集以及英文文本的新型刻板印象分类器，并通过多类别训练模型在多种可解释 AI 工具下展示出较好的性能，利用该模型评估了流行的 GPT 模型系列的刻板印象行为，并观察到刻板印象的减少，从而为 LLM 的刻板印象偏见审计和评估建立了一个稳健而实用的框架。

    Nov, 2023

  • 文本图像生成模型的质量、偏差和性能分析

    通过 qualitatively 评估精确生成人脸、群体和指定数量对象的图片，我们不仅检查了多个文本到图像模型的性能，还进行了社会偏见分析。我们发现，容量更大的模型生成的图片质量更高，但同时这些模型也存在固有的性别或社会偏见，从而更全面地了解了它们的影响和局限性。

    Jun, 2024

  • 摆脱种族和性别刻板印象的人工智能生成的人脸

    使用分类器研究文中文字图生成 AI 模型中的种族和性别刻板印象，提出一种新的去偏方法并增加人脸多样性。

    Feb, 2024

  • 文本到图像模型中的危害放大

    我们的研究论文使用形式化定义 “harm amplification”，并开发了量化伤害扩大的方法，旨在解决 Text-to-image 模型中的安全问题，并在实际部署场景中检验了不同方法的效果，包括伤害扩大对不同性别的差异影响。

    Feb, 2024

  • 多语言文本生成图像放大了性别刻板印象，工程处理可能无助于您

    文本到图像生成模型在图像质量、灵活性和文本对齐方面取得了惊人的成果，并因此在越来越多的应用中得到了应用。然而，多语言模型与单语言模型一样存在（性别）偏见。此外，这些模型将在不同语言中提供相似的结果是一种自然预期，但事实并非如此，并存在语言之间的重要差异。因此，我们提出了一个名为 MAGBIG 的新型基准，旨在促进无性别偏见的多语言模型研究。我们通过 MAGBIG 研究多语言 T2I 模型是否放大了性别偏见。为此，我们使用多语言提示来请求某个职业或特征的人物肖像图像（使用形容词）。我们的结果不仅显示模型偏离了每个性别应具有相等生成机会的规范假设，而且在不同语言之间存在很大差异。此外，我们还研究了提示工程策略，即使用间接、中性的表述，作为这些偏见的可能补救措施。不幸的是，它们只在有限程度上有所帮助，并导致更差的文本到图像对齐。因此，这项工作呼吁在图像生成中对跨语言的多样化表示进行更多研究。

    Jan, 2024