ICMLJun, 2020

神经符号视觉推理：将 “视觉” 与 “推理” 分离

PDF
TL;DR本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的 GQA 数据集上进行深入的分离比较，可以了解到众所周知的 VQA 模型参与的见解以及任务。
visual reasoningvisual perceptionneuro-symbolic modelsquestion answeringgqa dataset
发现论文，激发创造
  • 神经符号 VQA: 从视觉和语言理解中分离推理

    该论文介绍了神经符号视觉问答系统，结合深度表示学习和符号程序执行，具有更好的数据和内存效率以及对推理过程的全透明度。

    Oct, 2018

  • 基于粗到细的视觉问答推理

    本文提出了一种新的推理框架来填补 VQA 任务中视觉特征和语义线索之间的语义鸿沟，实现了特征和谓词的有效联合学习，并在三个大规模数据集上实现了其他最先进方法无法比拟的准确度，同时还提供了一种可解释的方式来理解深度神经网络在预测答案时的决策。

    Oct, 2021

  • VQA-GNN：用多模态语义图推理进行视觉问答

    本文介绍了 Visual Question Answering——Graph Neural Network 模型，用于解决视觉理解中的概念层次推理问题，与现有模型相比，该模型将图像级别信息和概念知识进行了统一，并在 VCR 任务中取得了优于 Trans-VL 模型的最佳结果。此外，该模型还提供了跨视觉和文本知识领域的可解释性。

    May, 2022

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • 视觉问答中的场景图推理

    我们提出了一种基于场景图和强化学习的方法来解决视觉问答任务，实验结果表明该方法在 GQA 数据集上已达到接近人类水平的效果。

    Jul, 2020

  • 基于知识路线的视觉问答推理：深度表示嵌入的挑战

    提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。

    Dec, 2020

  • 通过推理监督实现可解释的视觉问答

    我们提出了一种新的视觉问答架构，通过常识推理作为监督信号来减轻模型在缺乏视觉基础的情况下的性能不足，并通过相似性损失将模型的视觉注意力引导到场景的重要元素，从而提高模型的视觉感知能力和性能。

    Sep, 2023

  • 以对象为中心的视觉推理诊断

    该研究旨在通过评估不同模型在视觉推理方面的表现来回答视觉问答模型是否在进行视觉推理，为此，研究使用了 GQA 数据集中提供的目标细粒度标注，提出了一种系统性的目标中心的视觉推理诊断方法，并开发了一个名为图形推理机的诊断模型，该模型使用概率场景图替代纯符号视觉表示，并对视觉推理模块进行了教师强制训练。

    Dec, 2020

  • 基于端到端神经网络架构的视觉问答显式推理

    该论文提出了一种在视觉问答任务中使用通感推理的方法，该方法可以通过显式推理层来解决一些需要额外知识的问题，并提供可解释性的界面。该推理层采用了基于概率的软逻辑引擎，并运用了一篮子输入来进行推理。实验证实了该方法的有效性。

    Mar, 2018

  • 利用先验视觉关系的场景图推理用于视觉问答

    使用结构化可视化表征 —— 场景图，通过可视上下文和语言因素进行关系编码，使用场景图卷积网络实现对对象属性和关系语义的联合推理来回答视觉问题，从而在 GQA 数据集上实现了 54.56％的最高准确率。

    Dec, 2018