Jul, 2023

关于文本到图像生成中的文化差异

PDF
TL;DR文本到图像（T2I）生成中的一个挑战是训练数据中存在的文化差距意外反映，当输入文本的文化要素在训练集中很少收集时，这意味着生成的图像质量的不一致性；为了弥合差距，我们提出了一个全面评估标准的具有挑战性的跨文化（C3）基准，用于评估模型生成跨文化图像的适应性；通过分析 C3 基准上 Stable Diffusion 模型生成的有缺陷图像，我们发现模型常常无法生成某些文化对象；因此，我们提出一种新颖的多模态度量，考虑了对象与文本的对齐，用于筛选目标文化中的微调数据，以改进跨文化生成的 T2I 模型；实验结果表明，我们的多模态度量在 C3 基准上提供了比现有度量更强的数据选择性能，其中对象和文本的对齐至关重要；我们发布了基准，数据，代码和生成的图像，以促进未来在文化多样化的 T2I 生成方面的研究。
text-to-image generationculture gapscross-cultural benchmarkmulti-modal metricfine-tuning
发现论文，激发创造
  • 文化鸿沟导航：探索和解锁文化视角的文本到图像模型

    通过对 CulText2I 数据集进行内在评估、外在评估和人类评估，探索 TTI 模型中嵌入的文化知觉，揭示了模型的文化意识、文化差异和跨文化应用的潜力。

    Oct, 2023

  • 多任务基准测试中文本至图像模型的人类评估

    我们提供了一个新的多任务基准，用于评估文本到图像模型，在计算机视觉和机器学习领域中进行了广泛的研究，我们进行了人类评估，比较了最常见的开源（稳定扩散）和商业（DALL-E 2）模型，在三个难度级别上的三个任务上，跨十个提示，提供了 3,600 个评分。

    Nov, 2022

  • 在多语言概念上进行文本到图像模型公平评估的翻译错误和挑战

    基于图像的多语言（T2I）模型能力的基准测试比较生成的图像与期望图像分布的语言特定概念集合，其中一个名为 CoCo-CroLa 的基准测试通过将概念列表翻译成七种语言并比较输出图像群体来评估 T2I 模型的有形名词库存。不幸的是，我们发现该基准测试在西班牙语、日语和中文中包含不同严重程度的翻译错误。我们提供了这些错误的更正，并分析这些错误对 CoCo-CroLa 作为基准测试的实用性和有效性的影响。我们使用相似性评分在文本领域预测了纠正对图像领域基准测试结果的影响，并重新评估了多个基准 T2I 模型的输出，将新翻译的输出与旧翻译的输出进行了比较。我们的发现将为 T2I 多语言度量的未来发展提供分析工具，以进行实际的翻译决策。

    Mar, 2024

  • 文本到图像生成中的偏见调查：定义、评估和缓解

    通过对 T2I（Text-to-Image）生成模型中的偏见进行研究调查，揭示了存在的社会偏见对少数群体的边缘化造成的影响，并指出在研究中存在的限制和未来的研究方向。

    Apr, 2024

  • 优化文本到图像生成：走向准确、无需训练的字形增强图像生成

    改进了 LenCom-Eval 和 MARIO-Eval 基准测试的 OCR 效果的训练自由框架，提供了生成包含长且少见文本序列图像的新方法。

    Mar, 2024

  • 通过文本生成图像透视社交偏见

    本文通过对两个流行的 T2I 模型（DALLE-v2 和 Stable Diffusion）进行广泛的自动化和人工评估实验，专注于反映出的性别、年龄、种族和地理位置之间的职业，人格特征和日常情况的生成图像，研究和量化常见的社会偏见。我们的研究结果表明，这些模型中存在严重的职业偏见和地理位置代表的日常情况。尽管可以通过增加提示本身的详细信息来缓解这些偏差，但提示缓解可能无法解决图像质量或模型在其他场景中的其他用途的差异。

    Mar, 2023

  • 量化文本到图像生成模型中的偏差

    对比四种最新的文本到图像生成模型的基准偏差特征与各自变体，在社会偏见和一般偏见方面提出了三种评估方法，并将该方法应用于字幕图像数据集以衡量其偏见。

    Dec, 2023

  • TIBET: 文本到图像生成模型中的偏见识别和评估

    我们提出了一种通用方法，通过反事实推理来研究和量化任何文本到图像生成模型和任何提示的广泛偏见和偏差，并以语义概念的形式扩展了定量评分。

    Dec, 2023

  • 评估文本与图像生成模型：人类图像合成的实证研究

    我们在本文中提出了一种经验研究，介绍了一种用于文本到图像（T2I）生成模型的细致评估框架，应用于人类图像合成。我们的框架将评估分为两个不同的组别：第一组主要关注美学和真实性等图像质量，第二组则检验文本条件，包括概念覆盖和公平性。我们引入了一种创新的美学评分预测模型，评估生成图像的视觉吸引力，并首次提供了标记有生成人类图像低质量区域的数据集以便进行自动缺陷检测。我们对概念覆盖的探索考察了模型准确解释和渲染基于文本的概念的有效性，而公平性分析则揭示了模型输出中的偏见，特别关注性别、种族和年龄。尽管我们的研究以人类图像为基础，但这种双重面向的方法被设计成具有灵活性，可以应用于其他形式的图像生成，增强我们对生成模型的理解，并为下一代更复杂、具有上下文意识和伦理关注的生成模型铺平道路。我们将很快发布我们的代码，用于评估生成模型的数据以及标注有有缺陷区域的数据集。

    Mar, 2024

  • 文本到图像生成对齐度评估度量 TIAM

    通过针对 prompt 模板的新度量方法，本文对多种 Text-to-Image（T2I）模型的对齐性进行了研究，并发现潜在噪声和提示概念数量、顺序和属性等因素对图像生成的影响。

    Jul, 2023