Mar, 2022

基于动态键值存储增强的多步图推理方法用于基于知识的视觉问答

PDF
TL;DR本文提出一种名为动态知识记忆增强多步图推理（DMMGR）的新型模型，能够在键 - 值知识记忆模块和空间感知图像图上执行显式和隐式推理，并在 KRVQR 和 FVQA 数据集上实现了新的最先进的准确性。
knowledge-basedvisual question answeringdynamic knowledge memorymulti-step graph reasoningstate-of-the-art accuracy
发现论文，激发创造
  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • 基于记忆增强的多线索推理的知识驱动视觉问答

    通过生成多个线索进行推理的记忆神经网络 (MCR-MemNN) 作为一种全新的框架用于视觉问答，可以更好地利用外部知识来回答更一般性的问题，并且在各模态（图像、问题和知识库）中捕捉到最相关的信息。

    Dec, 2023

  • 学习视觉知识记忆网络用于视觉问答

    本文提出了一种基于 VKMN 的视觉知识存储网络，通过 End-to-End 的学习框架将结构化人类知识和深度视觉特征融入到记忆网络中来对抗视觉问答中缺乏对结构化知识的利用的问题，并在 VQA 1.0 和 VQA 2.0 基准测试中表现出显著的性能优势，特别是在涉及知识推理的问题方面。

    Jun, 2018

  • 利用动态记忆网络结合外部知识回答开放式视觉问题

    本文提出了一种基于动态记忆网络和外部知识库的 VQA 算法，通过对外部知识的检索和动态记忆网络对知识和图像的关注与推理，有效地回答包括开放领域问题在内的更复杂问题，并在视觉问答任务中取得了最好的表现。

    Dec, 2017

  • VQA-GNN：用多模态语义图推理进行视觉问答

    本文介绍了 Visual Question Answering——Graph Neural Network 模型，用于解决视觉理解中的概念层次推理问题，与现有模型相比，该模型将图像级别信息和概念知识进行了统一，并在 VCR 任务中取得了优于 Trans-VL 模型的最佳结果。此外，该模型还提供了跨视觉和文本知识领域的可解释性。

    May, 2022

  • DualVGR: 一个用于视频问答的双重视觉图推理单元

    提出了一个 Dual-Visual Graph Reasoning Unit (DualVGR) 网络，在视频问答中实现可解释的查询惩罚模块同时捕捉外观和运动特征之间的关系，在 MSVD-QA 基准数据集上取得了最佳性能.

    Jul, 2021

  • 基于知识路线的视觉问答推理：深度表示嵌入的挑战

    提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。

    Dec, 2020

  • 通过虚拟图像进行问答的视觉化思维

    本文研究了几何推理在问答中的应用，提出了动态空间记忆网络（DSMN）解决特定问题的新型深度神经网络架构，并在 FloorPlanQA 数据集上验证了其可行性。

    May, 2018

  • 知识图谱问答的变分推断

    本文介绍了一种基于知识图谱的问答系统，采取了一种新型的深度学习架构和端到端变分学习算法，可以同时处理问题中的噪声和多跳推理，在最新的基准数据集中取得了最优表现。

    Sep, 2017

  • 多模态图神经网络用于视觉场景联合推理

    利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

    Mar, 2020