ACLFeb, 2023

大规模跨语言研究：视觉限制对语言选择描述的影响

PDF
TL;DR本研究通过对四种语言中的五种语言特征进行大规模、多语言的调查研究，并给出了一种新颖的方法，通过分析 600k 张图像和 3M 张图像的标题，证明了视觉背景对语言使用的影响，并在数字表达的研究中发现了不同视觉条件下语言表达的相似模式，为语言生成应用提供了参考。
发现论文，激发创造
  • 文化与语言多样性改善视觉表达

    我们的研究展示了多语言语境下数据集和模型生成的图像标题之间的显著语义差异，以及不同语言训练的模型在对应语言的测试数据上表现最佳，而在多语言内容上训练的模型在所有评估数据组合上都表现良好，这对于改善图像理解的多样化感知具有重要意义。

    Oct, 2023

  • 跨语言文化下的视觉推理

    通过引入印尼语、汉语、斯瓦希里语、泰米尔语和土耳其语等语言，构建了一个新的 ImageNet-style 分层协议，从本地化的角度推荐相关概念和图像，建立了一个用于多文化及多语言视觉和语言推理的数据集 MaRVL，并列举出一系列现代模型的基线，发现其跨语言性能显著滞后于英语的监督性能。

    Sep, 2021

  • 人类和 LLMs 中的视觉对象命名、描述和量化

    当前的视觉与语言大型语言模型（VLLMs）在捕捉人类命名偏好方面的能力存在问 题，尤其在需要高级推理能力的任务中，例如指定量词。

    Mar, 2024

  • 语言结构作为视觉场景图生成的弱监督

    本文研究了在场景图生成中如何利用语言结构以及图像标题，通过弱化的监督模式提高模型性能，相比起传统的三元组监督模式，更具伸缩性且更适用于多模态数据。

    May, 2021

  • 量化视觉、语言和视觉 - 语言复杂度在动词习得中的作用

    通过大规模预训练的人工神经网络对单词进行视觉和语言表示，研究了早期动词学习的三个假设，并比较了影响困难度的因素。结果表明，视觉结构变异性是影响动词学习的最大挑战。

    Apr, 2023

  • 探索图像 - 语言变换器的动词理解

    本文研究多模态图像语言变换器的预训练表示质量，研究表明在需要谓语理解的情况下这些模型的表现不佳，通过图像 - 语句对数据集评估模型性能，分类词汇类型并找到特别具有挑战性的词汇类型。

    Jun, 2021

  • 跨语言视觉动词义消歧

    本文介绍了一项较为具有挑战性的任务，即跨语言动词语义消歧，并提出了包含 9504 张图像的 MultiSense 数据集，该数据集标注有英语、德语和西班牙语动词。我们证明跨语言动词语义消歧模型在视觉背景下比单模基线表现更好，并且我们的最佳消歧模型所预测的动词意义在多模转换任务中可用于对纯文本机器翻译系统的改进。

    Apr, 2019

  • 基于照片的自然语言推理语料库

    本文介绍了一个新数据集，包含 107292 个英语句子与网络照片的组合，任务是确定自然语言字幕是否与一对照片相符。数据要求包括数量、比较和关系等组成性联合推理的定性分析以及强大的视觉推理方法的评估。

    Nov, 2018

  • 利用语言塑造视觉表示进行少样本分类

    本文提出了一种语言塑造的学习方法（LSL），通过利用语言作为监督信号，可以提高小样本学习的效果，在两个具有挑战性的少样本数据集上表现良好。

    Nov, 2019

  • 高效图像探索与用户引导图像标题生成的视觉分析

    运用预训练的大规模语言 - 图像模型，本文尝试解决可视化分析中的两个问题：大规模图像数据集的高效探索与潜在数据偏差的发现以及图像标题的评估与生成过程的引导。通过分析从语言 - 图像模型自动生成的图像标题，我们能深入了解视觉内容的语义基础，并发现数据偏差。同时，通过展示视觉内容与文本标题之间的关联，揭示了预训练的语言 - 图像模型在标题生成能力上的不足，并提出了一种交互界面来引导标题生成。通过具体案例研究和大规模图像数据集的领域实践者验证了该系统的有效性。

    Nov, 2023