Dec, 2020

基于知识路线的视觉问答推理：深度表示嵌入的挑战

PDF
TL;DR提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。
visual question answeringknowledge reasoningvqa modelsknowledge-based visual question reasoningdataset
发现论文，激发创造
  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • OK-VQA：需要外部知识的视觉问答基准

    本文提出了名为 OK-VQA 的基于知识的视觉问答基准，要求使用外部知识资源来回答问题，该任务是多样的、困难的和大型的，与以前的基于知识的 VQA 数据集相比具有更高的难度。

    May, 2019

  • 基于事实的视觉问答系统

    介绍了一种需要外部信息支持、对图像进行深层次推理的视觉问答数据集 FVQA，并在该数据集上评估了多种基线模型，提出了一种新的模型能够基于支持事实对图像进行推理。

    Jun, 2016

  • 可解释的高阶视觉问答推理：一个新的基准和知识路由网络

    本研究提出了一个新的 HVQR 基准，用于评估 VQA 系统的解释能力和高阶推理能力，该基准具有多级推理、常识知识库和知识路由模块等特点，并通过大规模数据集进行验证。

    Sep, 2019

  • 神经符号视觉推理：将 “视觉” 与 “推理” 分离

    本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的 GQA 数据集上进行深入的分离比较，可以了解到众所周知的 VQA 模型参与的见解以及任务。

    Jun, 2020

  • 基于显式知识的视觉问答推理

    使用来自大规模知识库的信息来推理图片内容，解释推理过程并回答自然语言问题的视觉问答方法，比主流的长短时记忆方法更能回答复杂问题且表现明显更好，同时提供了数据集和协议来评估这类方法。

    Nov, 2015

  • 说服性的视觉问答推理理由

    通过对图像和问题对的预测答案生成视觉和文本理由，从而在零样本评估设置中实现了竞争性性能。

    Feb, 2024

  • VQA-GNN：用多模态语义图推理进行视觉问答

    本文介绍了 Visual Question Answering——Graph Neural Network 模型，用于解决视觉理解中的概念层次推理问题，与现有模型相比，该模型将图像级别信息和概念知识进行了统一，并在 VCR 任务中取得了优于 Trans-VL 模型的最佳结果。此外，该模型还提供了跨视觉和文本知识领域的可解释性。

    May, 2022

  • 基于开放集和知识的视觉问答与推理路径

    知识引导的视觉问题回答（KB-VQA）通过外部知识库的辅助，为图像和相关的文本问题提供正确答案。本文提出了一种名为 Graph pATH rankER（GATHER）的新型 KB-VQA 框架，通过构建图、修剪和路径级别排序，不仅能够准确检索答案，还提供解释推理过程的路径。通过在真实世界问题上的广泛实验，证明了该框架不仅能够在整个知识库上进行开放式问题回答，还能提供明确的推理路径。

    Oct, 2023

  • 学习视觉知识记忆网络用于视觉问答

    本文提出了一种基于 VKMN 的视觉知识存储网络，通过 End-to-End 的学习框架将结构化人类知识和深度视觉特征融入到记忆网络中来对抗视觉问答中缺乏对结构化知识的利用的问题，并在 VQA 1.0 和 VQA 2.0 基准测试中表现出显著的性能优势，特别是在涉及知识推理的问题方面。

    Jun, 2018