本文提出并解决了在 Visual Question Answering 中问题是否与图片相关的问题，并使用 LSTM-RNNs、VQA 模型不确定性和标题-问题相似性等方法，增强 VQA 模型的智能性和人性化。

Jun, 2016

该研究通过收集相关的图像，用于构建一个平衡的数据集（VQA v2.0），并在此基础上比较现有的 VQA 模型的表现，发现这些模型都受到了语言先验的影响。此外，该研究还提出了一种可解释性模型，它不仅可以回答问题，而且还可以通过提供一个相似但不同的图像来提高用户对其信任度。

Dec, 2016

该研究引入了一个新的视觉问答任务，即识别对原问题产生不同回答的图像，并通过这一任务来评估现有的VQA模型。尽管作者的模型在这一任务上表现出色，但研究结果表明，现有的最先进VQA模型所学习的多模态表示对于这一任务的表现并没有显著贡献，这表明在VQA基准测试上表现良好并不意味着具备更广泛的视觉语义推理能力。

Jun, 2018

本文介绍了使用LXMERT框架进行视觉-语言推理的方法。该框架包括一个基于Transformer模型的对象关系编码器、语言编码器和跨模态编码器，并通过大量图像-句子对进行预训练，以学习在这两个模态之间的关系。通过微调这个预训练模型，在两个视觉问答数据集上取得了最先进的结果，并在NLVR2数据集上将之前最好的结果提高了22%。

Aug, 2019

本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

Aug, 2020

本文研究了将通用知识库中的知识注入视觉-语言模型中，并通过辅助训练目标增加了语义和关系知识的表征，实现了对问题回答、视觉推理等任务中的性能提升，这种技术不依赖于特定的模型，具有较小的计算开销。

Jan, 2021

本论文提出了一种名为Coordinated Vision Language Retrieval(CoVLR)的新方法，利用meta-optimization来协调交叉模态对齐和单模态群集维护，从而同时确保交叉模态一致性和单模态结构，实验结果表明CoVLR方法能够提高单模态检索准确性，同时保留跨模态检索能力。

Apr, 2023

基于知识的视觉问答（VQA）涉及使用多模态知识库的信息检索，命名实体的多样化视觉表现使其难以识别，我们认为跨模态检索可能有助于弥合实体与其描述之间的语义差距，对单模态检索产生互补作用，通过对最近的ViQuAE、InfoSeek和Encyclopedic-VQA数据集上的实验，我们提供了经验证据。此外，我们研究了三种不同的模型微调策略：单模态、跨模态或联合训练。我们的方法结合了单模态和跨模态检索，与三个数据集上的数十亿参数模型相竞争，同时在概念上更简单、计算上更廉价。

Jan, 2024

本研究解决了视觉语言模型（VLM）在视觉问答（VQA）和推理任务中的性能问题，尤其是信息整合的作用。通过引入语义干预（SI）-VQA数据集和交互式语义干预（ISI）工具，研究表明互补信息可以提高答案和推理质量，而矛盾信息则会降低模型表现和信心。这项工作为模态整合的深入分析奠定了基础。

Oct, 2024

本研究聚焦于大型视觉语言模型中的跨模态参数知识冲突问题，明确界定并系统性地检测与缓解此类冲突。通过提出动态对比解码方法，研究表明此方法能有效提高模型在多模态任务中的准确性，特别是在ViQuAE与InfoSeek数据集上，取得了2.24%的平均准确率提升。

Oct, 2024