CVPRJun, 2018

学习视觉知识记忆网络用于视觉问答

PDF
TL;DR本文提出了一种基于 VKMN 的视觉知识存储网络，通过 End-to-End 的学习框架将结构化人类知识和深度视觉特征融入到记忆网络中来对抗视觉问答中缺乏对结构化知识的利用的问题，并在 VQA 1.0 和 VQA 2.0 基准测试中表现出显著的性能优势，特别是在涉及知识推理的问题方面。
visual question answeringmemory networksknowledge integrationstructured human knowledgeend-to-end learning
发现论文，激发创造
  • 基于记忆增强的多线索推理的知识驱动视觉问答

    通过生成多个线索进行推理的记忆神经网络 (MCR-MemNN) 作为一种全新的框架用于视觉问答，可以更好地利用外部知识来回答更一般性的问题，并且在各模态（图像、问题和知识库）中捕捉到最相关的信息。

    Dec, 2023

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • 利用动态记忆网络结合外部知识回答开放式视觉问题

    本文提出了一种基于动态记忆网络和外部知识库的 VQA 算法，通过对外部知识的检索和动态记忆网络对知识和图像的关注与推理，有效地回答包括开放领域问题在内的更复杂问题，并在视觉问答任务中取得了最好的表现。

    Dec, 2017

  • 基于动态键值存储增强的多步图推理方法用于基于知识的视觉问答

    本文提出一种名为动态知识记忆增强多步图推理（DMMGR）的新型模型，能够在键 - 值知识记忆模块和空间感知图像图上执行显式和隐式推理，并在 KRVQR 和 FVQA 数据集上实现了新的最先进的准确性。

    Mar, 2022

  • 记忆增强网络下的视觉问答

    本文采用记忆增强型神经网络，通过选择性地关注每个训练示例的内部和外部记忆块来预测视觉问题的准确答案。实验结果表明，所提出的算法在两个大规模基准数据集上具有优越的性能及与现有技术的比较。

    Jul, 2017

  • VQA-GNN：用多模态语义图推理进行视觉问答

    本文介绍了 Visual Question Answering——Graph Neural Network 模型，用于解决视觉理解中的概念层次推理问题，与现有模型相比，该模型将图像级别信息和概念知识进行了统一，并在 VCR 任务中取得了优于 Trans-VL 模型的最佳结果。此外，该模型还提供了跨视觉和文本知识领域的可解释性。

    May, 2022

  • 基于知识路线的视觉问答推理：深度表示嵌入的挑战

    提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。

    Dec, 2020

  • 精确赋能，过度分散：动态注入语言模型中的视觉问答知识

    通过提供来自知识图谱中提取的相关外部知识，我们通过增强问题并实现可变数量的三元组，为知识增强的视觉问答模型带来了平均 4.75％的准确匹配得分提升，并展示了其在推理能力和泛化能力方面的优势。

    Jun, 2024

  • 视觉问答作为阅读理解

    本研究提出了一种基于机器阅读理解的方法，通过将视觉和文本特征统一到自然语言中以解决视觉问答中的多模态特征融合问题，并能够处理大规模外部知识库等基于知识的问题。实验结果表明，该方法在三个数据集上性能具有可比性，此为利用文本和自然语言处理技术解决视觉问答问题的一步。

    Nov, 2018

  • R-VQA: 通过语义关注学习视觉关系事实用于视觉问答

    通过构建 Relation-VQA 数据集，并采用新颖的多步注意力模型，该论文提出了一种更好地利用图像语义知识的视觉关系事实学习框架，从而在视觉问答任务中取得了最先进的性能。

    May, 2018