ACLMay, 2020

语言与视觉推理的跨模态相关性

PDF
TL;DR本研究探讨了学习和推理语言和视觉数据的挑战，并设计了一种新型跨模态相关模块，可用于学习各种输入模态的组件之间的相关表示，它比仅仅重新调整原始表示空间更具泛化性。我们的方法不仅模拟了文本实体和视觉实体之间的关联，还模拟了文本中实体关系和图像中对象关系之间的高阶关联。实验证明，我们的方法在两个不同的语言和视觉任务上展现出了竞争性能，并提高了 VQA 任务的训练效率。
发现论文，激发创造
  • 视觉问答的多模态潜在交互网络

    该研究提出了一种多模态潜在交互模块（MLI），用于学习图像问题答案中潜在的视觉和语言信息之间的跨模态关系，从而最大化地汇总了两种信息来源，并且与预训练语言模型 BERT 结合可以显着提高性能，达到了竞争性的结果。

    Aug, 2019

  • CoVLR：协调跨模态一致性和内部模态结构的视觉语言检索

    本论文提出了一种名为 Coordinated Vision Language Retrieval (CoVLR) 的新方法，利用 meta-optimization 来协调交叉模态对齐和单模态群集维护，从而同时确保交叉模态一致性和单模态结构，实验结果表明 CoVLR 方法能够提高单模态检索准确性，同时保留跨模态检索能力。

    Apr, 2023

  • 视觉和语言推理：探索补充知识的益处

    本文研究了将通用知识库中的知识注入视觉 - 语言模型中，并通过辅助训练目标增加了语义和关系知识的表征，实现了对问题回答、视觉推理等任务中的性能提升，这种技术不依赖于特定的模型，具有较小的计算开销。

    Jan, 2021

  • 视觉语言问答 (VLQA) 挑战赛

    新方法和基础性性能的比较与现有机器学习方法中挑战的问题进行了讨论，最终提出了 Visuo-Linguistic Question Answering 作为计算机视觉和自然语言处理的基准测试集。

    May, 2020

  • 基于因果关系的跨模态表示学习在视觉和语言导航中的应用

    提出了一种基于因果学习范式的统一框架 CausalVLN，通过建立关于视觉和语言的结构因果模型 (SCM) 的合理假设，并引入视觉和语言门路因果编码器，在训练和验证期间实现无偏特征表达，增强了智能体在不同环境中的泛化能力，并在三个 VLN 数据集上的实验证明了该方法的优越性和显著缩小了在已知和未知环境之间的性能差距。

    Mar, 2024

  • 基于知识的视觉问答的跨模态检索

    基于知识的视觉问答（VQA）涉及使用多模态知识库的信息检索，命名实体的多样化视觉表现使其难以识别，我们认为跨模态检索可能有助于弥合实体与其描述之间的语义差距，对单模态检索产生互补作用，通过对最近的 ViQuAE、InfoSeek 和 Encyclopedic-VQA 数据集上的实验，我们提供了经验证据。此外，我们研究了三种不同的模型微调策略：单模态、跨模态或联合训练。我们的方法结合了单模态和跨模态检索，与三个数据集上的数十亿参数模型相竞争，同时在概念上更简单、计算上更廉价。

    Jan, 2024

  • 事件级别视觉问答的跨模态因果关系推理

    本文提出了一种名为 CMCIR 的事件级别视觉问答框架，以实现稳健的因果感知视觉 - 语言问答，其利用因果干预方法发现视觉和语言两种模态的真实因果结构，并成功地在四个事件级别数据集上验证了其优越性。

    Jul, 2022

  • 使用双向匹配进行目标排序的视觉推理

    通过提出一种新的端到端神经模型，包括联合双向注意力机制和基于强化学习的指针网络等技术，本文在 Cornell NLVR 数据集的两种版本中取得了 4-6% 的绝对提升。

    Apr, 2018

  • 文本到图像的跨模态隐含关系推理和对齐的人物检索

    研究了跨模态对齐的图像检索问题，提出了一种 IRRA 框架，并在三个公共数据集上获得了优于现有方法的最新成果。

    Mar, 2023

  • 问题感知视觉变换器用于多模态推理

    QA-ViT 是一种用于多模态推理的问题感知视觉 Transformer 方法，通过将问题感知能力直接嵌入到视觉编码器中，实现动态视觉特征，并且可以有效地应用于各种多模态架构，提高对视觉和场景文本的理解能力。

    Feb, 2024