ACLMar, 2024

在多语言概念上进行文本到图像模型公平评估的翻译错误和挑战

PDF
TL;DR基于图像的多语言（T2I）模型能力的基准测试比较生成的图像与期望图像分布的语言特定概念集合，其中一个名为 CoCo-CroLa 的基准测试通过将概念列表翻译成七种语言并比较输出图像群体来评估 T2I 模型的有形名词库存。不幸的是，我们发现该基准测试在西班牙语、日语和中文中包含不同严重程度的翻译错误。我们提供了这些错误的更正，并分析这些错误对 CoCo-CroLa 作为基准测试的实用性和有效性的影响。我们使用相似性评分在文本领域预测了纠正对图像领域基准测试结果的影响，并重新评估了多个基准 T2I 模型的输出，将新翻译的输出与旧翻译的输出进行了比较。我们的发现将为 T2I 多语言度量的未来发展提供分析工具，以进行实际的翻译决策。
multilingual capabilitiestext-to-image modelsconceptual coveragetranslation errorst2i multilinguality metrics
发现论文，激发创造
  • 文本到图像模型的多语言概念覆盖

    这篇论文介绍了一种名为 CoCo-CroLa 的技术，用于评估任何生成式文本到图像系统在有形名词方面提供多语言的程度，可以比较源语言和目标语言中为一系列有形名词生成的图像的数量，从而估计模型对目标语言的适用性，并识别模型特定的弱点、错误关联和偏见。

    Jun, 2023

  • 关于文本到图像生成中的文化差异

    文本到图像（T2I）生成中的一个挑战是训练数据中存在的文化差距意外反映，当输入文本的文化要素在训练集中很少收集时，这意味着生成的图像质量的不一致性；为了弥合差距，我们提出了一个全面评估标准的具有挑战性的跨文化（C3）基准，用于评估模型生成跨文化图像的适应性；通过分析 C3 基准上 Stable Diffusion 模型生成的有缺陷图像，我们发现模型常常无法生成某些文化对象；因此，我们提出一种新颖的多模态度量，考虑了对象与文本的对齐，用于筛选目标文化中的微调数据，以改进跨文化生成的 T2I 模型；实验结果表明，我们的多模态度量在 C3 基准上提供了比现有度量更强的数据选择性能，其中对象和文本的对齐至关重要；我们发布了基准，数据，代码和生成的图像，以促进未来在文化多样化的 T2I 生成方面的研究。

    Jul, 2023

  • 基于翻译增强的多语言文本图像生成

    本文研究了多语言文本到图像生成 (mTTI) 和神经机器翻译 (NMT) 在 mTTI 系统中的潜在作用，提出了 Ensemble Adapter 方案，通过实证研究多语言文本知识的加权和整合，以此来改善 mTTI 系统的性能，并在三个标准 mTTI 数据集上进行了评估。

    May, 2023

  • ConceptBed: 评估文本到图像扩散模型的概念学习能力

    为了定量衡量 T2I 模型在学习和合成新型视觉概念的能力，该论文提出了一个大规模数据集 ConceptBed 和一个新的评估指标 Concept Confidence Deviation (CCD)，作者评估了对象、属性、样式及四种组合性维度，研究发现概念学习和保持组合性之间存在权衡。

    Jun, 2023

  • RoCOCO：鲁棒性基准 MS-COCO 以测试图像文本匹配模型的鲁棒性

    本文提出了一个新的评估基准来测试 ITM 模型的稳健性，加入了各种欺骗性图像和标题来检测模型。结果发现，添加这些图像和标题会降低 SOTA 模型的性能，预计这些结果能提高模型的鲁棒性和引入更多的评估方法。

    Apr, 2023

  • 文本定位：为主题驱动的文本到图像生成分解多概念图像

    利用主题驱动的文本到图像扩散模型，用户可以根据少量示例图像来定制模型来处理预训练数据集中不存在的新概念。然而，现有的主题驱动模型主要依赖于单一概念的输入图像，在处理多概念输入图像时面临着目标概念的指定困难。为此，我们引入了一种文本本地化的文本到图像模型（Texual Localization）来处理多概念输入图像。在微调过程中，我们的方法采用了一种新颖的交叉注意力引导方法，分解多个概念，在文本提示中建立目标概念的视觉表示与标识符令牌之间的明确连接。实验结果表明，在多概念输入图像上，我们的方法在图像保真度和图像文本对齐方面优于或相当于基准模型。与自定义扩散方法相比，我们的方法通过硬引导实现了单一概念生成的 CLIP-I 得分相对提高 7.04％，8.13％，多概念生成的 CLIP-T 得分相对提高 2.22％，5.85％。值得注意的是，我们的方法能够生成与生成图像中目标概念一致的交叉注意力映射，这是现有模型所没有的能力。

    Feb, 2024

  • 文化鸿沟导航：探索和解锁文化视角的文本到图像模型

    通过对 CulText2I 数据集进行内在评估、外在评估和人类评估，探索 TTI 模型中嵌入的文化知觉，揭示了模型的文化意识、文化差异和跨文化应用的潜力。

    Oct, 2023

  • 多语言大型语言模型是否能够进行上下文中的文本到图像学习？

    将大型语言模型从文本到多模态进化为多模态大型语言模型 (MLLMs)，并扩展了上下文学习 (ICL) 到多模态环境。本研究中提出以 T2I-ICL 为任务的新的 benchmark 数据集 CoBSAT，通过与六个最先进的 MLLMs 算法的对比表明了 T2I-ICL 的困难及其挑战，并探索了 fine-tuning 和 Chain-of-Thought prompting 等策略以实现显著改进。

    Feb, 2024

  • AltDiffusion: 多语言文本到图像扩散模型

    AltDiffusion 是一种新颖的多语种 T2I 扩散模型，它支持 18 种不同语言，并且在生成高质量图像方面优于现有的 T2I 模型，尤其是在理解文化特定概念方面。

    Aug, 2023

  • 谁来评估评估？用 T2IScoreScore（TS2）客观评分文本与图像提示一致性指标

    对文本到图像模型中的提示准确性进行基准测试，比较评估了多种提示信实度度量，发现当前的视觉语言模型基于向量的度量无法在许多困难的 T2I 模型错误情况下显着优于基于特征的度量。介绍了一套语义错误图形，TS2，用于严格判断给定的提示信实度度量指标是否能够正确地对图像进行排序和区分不同的错误节点，以期通过客观的准则更严格地比较和发展更好的 T2I 期望提示信实度度量指标。

    Apr, 2024