Apr, 2022

面向视觉问答的问题驱动图融合网络

PDF
TL;DR提出了 QD-GFN 方法，利用三个图注意力网络来建立图像中的语义、空间和隐含视觉关系，并引入问题信息指导三个图的聚合过程，采用目标过滤机制消除图像中与问题不相关的对象，实验结果表明 QD-GFN 优于现有最先进的 VQA 模型，新的图聚合方法和目标过滤机制对模型的性能提升起到了重要作用。
visual question answeringobject detectiongraph attention networksobject filteringgraph aggregation
发现论文，激发创造
  • VQA-GNN：用多模态语义图推理进行视觉问答

    本文介绍了 Visual Question Answering——Graph Neural Network 模型，用于解决视觉理解中的概念层次推理问题，与现有模型相比，该模型将图像级别信息和概念知识进行了统一，并在 VCR 任务中取得了优于 Trans-VL 模型的最佳结果。此外，该模型还提供了跨视觉和文本知识领域的可解释性。

    May, 2022

  • GraghVQA: 基于语言引导的图神经网络用于基于图像的视觉问答

    本研究提出了一种基于场景图的自然语言问答模型 GraphVQA，该模型采用语言引导的图神经网络，并使用节点间的多次信息传递来翻译和执行自然语言问题。我们探讨了 GraphVQA 框架的设计空间，并讨论了不同设计选择的权衡。在 GQA 数据集上的实验证明，GraphVQA 明显优于现有模型（88.43% 对 94.78%）。

    Apr, 2021

  • 利用场景图进行视觉问答的实证研究

    本文提出了一种使用场景图和图网络进行视觉问答的方法，具有比当前最先进的视觉问答算法更清晰的架构，同时可以解释推理过程，展示了可解释的视觉问答的潜力。

    Jul, 2019

  • 面向视觉问答的关系感知图注意力网络

    本研究提出了一种基于关系感知图形注意力网络（ReGAT）的 VQA 模型，该模型通过图形注意机制将每个图像编码为图形，再通过多类型的物体关系建模，以学习问题自适应的关系表示，并在 VQA 2.0 和 VQA-CP v2 数据集上优于现有的 VQA 方法，同时具有通用的关系编码器功能。

    Mar, 2019

  • 开箱即用：使用图卷积神经网络进行事实视觉问答推理

    针对视觉问答中存在的通用知识推理难题，提出一种基于事实的视觉问答任务，并探索了利用实体图和图卷积网络联合推理来解决问题，相对于现有算法在准确率上有显著提高。

    Nov, 2018

  • 视觉问答的双重任务：视觉问题生成

    提出了 Invertible Question Answering Network (iQAN) 框架，该框架通过对 VQA 和 VQG 任务同时训练，利用图像中的问题和答案之间的互补关系，使用对应的参数共享方案和正则项来明确 Q，A 之间的依赖关系，并且明确地指导训练过程。通过在 CLEVR 和 VQA2 数据集上的评估，我们的 iQAN 在基线上提高了 VQA 的准确性，并表明 iQAN 的双学习框架可以推广到其他 VQA 体系结构，并持续改进结果。

    Sep, 2017

  • 视觉问答的互注意融合

    该研究提出了一种新的注意力机制，同时考虑视觉细节的两个层次，即物体实例和它们的部分，通过高效的张量分解方案，设计了分层融合多模态信息的模型并提高了已有模型达到了一个显著的提升。

    May, 2018

  • 面向视觉问答的聚焦动态注意力模型

    本文提出了一种基于 Focused Dynamic Attention 模型的视觉问答方法，该方法通过结合全局特征和重点区域信息，能够更好地处理细粒度信息和语言语义，进而提高了视觉问答的表现。

    Apr, 2016

  • 动态融合图网络用于多跳推理

    本文提出 Dynamically Fused Graph Network（DFGN）以支持多篇文档中的多个说明文本的问题回答，并在 HotpotQA 上获得了有竞争力的结果和可解释的推理链。

    May, 2019

  • 利用先验视觉关系的场景图推理用于视觉问答

    使用结构化可视化表征 —— 场景图，通过可视上下文和语言因素进行关系编码，使用场景图卷积网络实现对对象属性和关系语义的联合推理来回答视觉问题，从而在 GQA 数据集上实现了 54.56％的最高准确率。

    Dec, 2018