超越美学：文本到图像模型中的跨文化能力

Jul, 2024

超越美学：文本到图像模型中的跨文化能力

Beyond Aesthetics: Cultural Competence in Text-to-Image Models

Nithish Kannen, Arif Ahmad, Marco Andreetto, Vinodkumar Prabhakaran, Utsav Prabhu...

TL;DR我们引入了一个以文化意识和文化多样性为关键维度对T2I模型进行评估的框架，并使用结构化知识库和大语言模型相结合的方法构建了一个大规模文化艺术品数据集，以便评估文化能力，同时我们还引入了文化多样性作为一种全新的T2I模型评估组成部分，通过质量加权的Vendi分数揭示了现有模型在不同国家的文化意识方面存在显著差距，为全球范围内文化需求提供了有价值的洞察，并能够促进更好地满足全球人口需求的T2I模型的发展。

Abstract

Text-to-Image (T2I) models are being increasingly adopted in diverse global communities where they create visual representations of their unique cultures. Current T2I benchmarks primarily focus on faithfulness, aesthetics, and realism of generated images, overlooking the critical dimension of

发现论文，激发创造

关于文本到图像生成中的文化差异

文本到图像（T2I）生成中的一个挑战是训练数据中存在的文化差距意外反映，当输入文本的文化要素在训练集中很少收集时，这意味着生成的图像质量的不一致性；为了弥合差距，我们提出了一个全面评估标准的具有挑战性的跨文化（C3）基准，用于评估模型生成跨文化图像的适应性；通过分析C3基准上 Stable Diffusion 模型生成的有缺陷图像，我们发现模型常常无法生成某些文化对象；因此，我们提出一种新颖的多模态度量，考虑了对象与文本的对齐，用于筛选目标文化中的微调数据，以改进跨文化生成的T2I模型；实验结果表明，我们的多模态度量在C3基准上提供了比现有度量更强的数据选择性能，其中对象和文本的对齐至关重要；我们发布了基准，数据，代码和生成的图像，以促进未来在文化多样化的T2I生成方面的研究。

Jul, 2023

文化鸿沟导航：探索和解锁文化视角的文本到图像模型

通过对CulText2I数据集进行内在评估、外在评估和人类评估，探索TTI模型中嵌入的文化知觉，揭示了模型的文化意识、文化差异和跨文化应用的潜力。

Oct, 2023

GPT-4V中的视觉文化意识探索：一项全面的探究

探索GPT-4V在视觉理解方面的能力和限制，着重关注文化方面，通过使用MaRVL基准数据集进行详细调查，实验证明GPT-4V在识别文化概念方面表现出色，但在低资源语言上仍然存在较弱的性能。

Feb, 2024

无过滤器：对比式视觉语言模型中的文化和社会经济多样性

该研究探讨了视觉-语言模型中的文化和社会经济多样性，研究发现了数据训练过程中对低社会经济地位社群和文化理解的不公平现象，并提出了一种改进方法以提高文化多样性。

May, 2024

视觉语言模型的文化意识程度如何？

我们的研究比较了四种流行的视觉语言模型在识别文化特定的图像信息并创建准确且具有文化敏感性的图像标题方面的性能，并提出了一个新的评估指标，即文化意识分数（CAS）。我们还提供了一个带有真实标签的数据集 MOSAIC-1.5k，其中包含了具有文化背景和上下文的图像，以及一个带有分配的文化意识分数的数据集，可用于未被看到的数据。创建具有文化适应性的图像标题对于科学研究非常有价值，对许多实际应用也有益处。我们希望通过向公众提供数据集和文化意识分数，促进全球范围内对于尊重和庆祝全球多样性的文化敏感性AI系统的更深入融合以及更多相关领域的进一步研究的发展。

May, 2024

构建中国文化的镜头：用于理解中国谐音绘画艺术的多模态数据集

通过发布《谜语艺术数据集》，本文旨在促进大型视觉-语言模型（VLM）的发展，以更好地理解和解释具有文化特定内容的艺术，特别是扎根于中国传统文化的艺术。

Jun, 2024

评估视觉和文化解读: K-Viscuit基准测试与人机合作

通过半自动化流程，并结合外部知识检索，构建了适应韩国文化的数据集，从而有效评估了文化相关的视觉-语言模型，结果显示开源模型在理解韩国文化方面明显落后于专有模型，并提供了各种文化方面的VLM性能分析和未来改进方向的建议。

Jun, 2024

从地方概念到普适性：评估视觉语言模型的多元文化理解

通过引入GlobalRG基准，涵盖了检索跨文化图像的普遍概念和在图像中定位文化特定概念这两个具有挑战性的任务，我们评估了各种模型在不同文化背景下的表现，并强调了在视觉语言模型中增强多元文化理解的必要性。

Jun, 2024

大陆十字路口: 基于大型多模态模型的文化适应自动工艺品提取

通过研究大型多模态模型（LMMs）在识别文化背景、不同文化的表征准确性以及跨文化边界调整内容的有效性的综合三阶段研究，本文揭示了LMMs文化理解水平的差异，通过Dalle Street数据集验证，进而提出了一种高度可组合的CultureAdapt流水线，从而突出了发展文化感知系统的必要性。

Jul, 2024

文化理解的视觉语言模型基准测试

这篇研究介绍了CulturalVQA，它是一个用于评估VLM的地理多样性文化理解能力的视觉问答基准。通过对GPT-4V和Gemini等模型在CulturalVQA上的性能评估，发现它们在不同地区的文化理解水平存在差异，其中北美地区的文化理解能力较强，而非洲地区的性能较低。研究还观察到在不同文化方面存在性能差异，其中服饰、仪式和传统的表现优于食物和饮品。这些差异帮助我们识别VLM在文化理解方面的不足，并展示了CulturalVQA作为一个评估各种文化理解能力的全面数据集的潜力。

Jul, 2024