Oct, 2019

异构图学习用于视觉常识推理

PDF
TL;DR本文提出了一种新的异构图学习框架（HGL），用于在视觉和语言领域之间建立联系，以帮助解决视觉常识推理的挑战，该框架包括主要的 VAHG 模块和双重 QAHG 模块以及上下文投票模块，能更好地进行全局推理。在大规模的视觉常识推理基准测试中，实验结果表明，我们提出的模块在三个任务中均取得了优异的表现。
visual commonsense reasoningheterogeneous graph learningsemantic alignmentreasoning pathslong-range visual context
发现论文，激发创造
  • 基于视觉常识的异构图对比学习

    本研究通过引入视觉常识信息和提出异构图对比学习方法，改善视觉推理任务，使模型更专注于具有辨别力的对象和相关的视觉常识属性，并通过图关系网络推理同质边之间的关联和异质边之间的相似性，从而提高了模型的信息传输效果。在四个基准测试上的广泛实验表明，本方法显著改进了七个具有代表性的视觉问答模型，证明了它的有效性和泛化性。

    Nov, 2023

  • VQA-GNN：用多模态语义图推理进行视觉问答

    本文介绍了 Visual Question Answering——Graph Neural Network 模型，用于解决视觉理解中的概念层次推理问题，与现有模型相比，该模型将图像级别信息和概念知识进行了统一，并在 VCR 任务中取得了优于 Trans-VL 模型的最佳结果。此外，该模型还提供了跨视觉和文本知识领域的可解释性。

    May, 2022

  • 神经符号视觉推理：将 “视觉” 与 “推理” 分离

    本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的 GQA 数据集上进行深入的分离比较，可以了解到众所周知的 VQA 模型参与的见解以及任务。

    Jun, 2020

  • 基于图的异构外部知识推理用于常识问答

    本文提出了一种基于知识库和维基百科文本的异构证据自动提取方法以回答常识问题，通过构建图形结构并使用图形卷积网络对邻居信息进行编码并利用图形注意力机制聚合证据来预测最终答案，成功地提高了 CommonsenseQA 数据集上的准确性达到了最先进水平。

    Sep, 2019

  • 基于超图变换器的基于知识的视觉问答的弱监督多跳推理

    本文提出了一种新的基于超图的模型，用于解决知识库视觉问答中的多跳推理问题。该模型可以将高级问题的语义和知识库相结合，并通过超图内部和跨越两个超图之间的关联编码来预测答案。我们的实验证明了该方法的有效性。

    Apr, 2022

  • 多模态大型语言模型中的图推理图渲染

    本文探讨了在图推理任务中将视觉信息与文本信息相结合的可行性，并使用基准测试 GITQA 以及多模态 LLM 模型进行了实验证明了在图推理任务中使用文本和视觉信息相结合要好于单一模态。

    Feb, 2024

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • 基于粗到细的视觉问答推理

    本文提出了一种新的推理框架来填补 VQA 任务中视觉特征和语义线索之间的语义鸿沟，实现了特征和谓词的有效联合学习，并在三个大规模数据集上实现了其他最先进方法无法比拟的准确度，同时还提供了一种可解释的方式来理解深度神经网络在预测答案时的决策。

    Oct, 2021

  • Commonsense 知识图谱上的多跳推理语言生成

    本文提出了一种利用常识知识图谱，将结构信息和语义信息结合到推理中，提高语言模型在生成任务中处理常识知识的准确性。通过动态多跳推理模块，本文建立了 Generation with Multi-Hop Reasoning Flow (GRF) 模型，实验表明该模型在三个包含常识知识推理的生成任务中的表现优于现有基线模型。

    Sep, 2020

  • 知识图谱问答的变分推断

    本文介绍了一种基于知识图谱的问答系统，采取了一种新型的深度学习架构和端到端变分学习算法，可以同时处理问题中的噪声和多跳推理，在最新的基准数据集中取得了最优表现。

    Sep, 2017