EMNLPSep, 2021

跨语言文化下的视觉推理

PDF
TL;DR通过引入印尼语、汉语、斯瓦希里语、泰米尔语和土耳其语等语言，构建了一个新的 ImageNet-style 分层协议，从本地化的角度推荐相关概念和图像，建立了一个用于多文化及多语言视觉和语言推理的数据集 MaRVL，并列举出一系列现代模型的基线，发现其跨语言性能显著滞后于英语的监督性能。
multilingualmulticulturalimagenetmachine learningcross-lingual transfer
发现论文，激发创造
  • 多语种多样性增强视觉 - 语言表示

    使用多语言数据集进行预训练可以提高在多个视觉任务中的性能，包括对非英语数据的使用，以及增加地理多样性任务中非洲地区的表现。

    May, 2024

  • 从地方概念到普适性：评估视觉语言模型的多元文化理解

    通过引入 GlobalRG 基准，涵盖了检索跨文化图像的普遍概念和在图像中定位文化特定概念这两个具有挑战性的任务，我们评估了各种模型在不同文化背景下的表现，并强调了在视觉语言模型中增强多元文化理解的必要性。

    Jun, 2024

  • 文化与语言多样性改善视觉表达

    我们的研究展示了多语言语境下数据集和模型生成的图像标题之间的显著语义差异，以及不同语言训练的模型在对应语言的测试数据上表现最佳，而在多语言内容上训练的模型在所有评估数据组合上都表现良好，这对于改善图像理解的多样化感知具有重要意义。

    Oct, 2023

  • 多语言基于实例的语言学习中的经验教训

    研究了多语言学习模型在何种条件下能够表现出更好的视觉语义嵌入，结果表明多语种训练比双语种训练有更好的效果，低资源语言受益于高资源语言的训练，注释同一组图像的多种语言获得了额外的提升。

    Sep, 2018

  • 构建多语言视觉文本数据集揭示视觉语言模型的多语言能力

    我们通过模板构建了四种语言的多语言视觉文本数据集，介绍了九项视觉语言任务，并引入了解释机制以评估大型语言模型在视觉语言任务上的表现。

    Mar, 2024

  • 无过滤器：对比式视觉语言模型中的文化和社会经济多样性

    该研究探讨了视觉 - 语言模型中的文化和社会经济多样性，研究发现了数据训练过程中对低社会经济地位社群和文化理解的不公平现象，并提出了一种改进方法以提高文化多样性。

    May, 2024

  • Babel-ImageNet：大规模多语言视觉语言表示的评估

    使用 Babel-ImageNet 建立大规模多语言图像描述数据集，通过在 0-shot 图像分类任务上的表现大幅验证了多语言 VL 模型的性能差异并证明了其在图像 - 文本检索上的可行性。

    Jun, 2023

  • 像双语婴儿一样：视觉引导双语语言模型的优势

    通过使用 MS-COCO-ES 数据集中的英语和西班牙语的图像和字幕来训练 LSTM 语言模型，研究发现视觉基础能够提高语义相似性的理解能力，特别是在跨语言时，但是在抽象词汇方面没有显著优势。研究还指出，为了进一步提高视觉基础的语言模型的实用性，需要更多多语言数据和多语言说话者的感知基础。

    Oct, 2022

  • 多语言视觉情感概念匹配

    通过众包实验和单词嵌入，本文研究了文化对视觉情感感知的影响，并提供了一种有效的聚类框架，以探索、检索和浏览数据集中的多语言情感视觉概念，并通过基于众包的情感注释等新颖度量方法进行了评估。

    Jun, 2016

  • 印地语作为第二语言：利用语义相似的样本改进基于视觉的语音

    本研究旨在从多语言角度探讨视觉引导语音模型（VGS）的学习。研究发现，将高资源语言的知识转化为低资源语言的知识可以提高跨模态检索任务中低资源语言的性能，对此，文章提出了两种方法：（1）使用强大的预训练高资源语言编码器和（2）使用语义相似的口语字幕。通过实验证明，这两种方法结合起来可以有效地使低资源语言的表现超越单语和双语对应物。

    Mar, 2023