Jan, 2021

理解场景图在视觉问答中的作用

HTML
PDF
TL;DR本文通过实验探讨使用场景图（Scene Graphs）解决视觉问答（Visual Question Answering）任务。作者采用图像+问题架构研究场景图的各种生成技术，建议一套训练课程以利用人类注释和自动生成的场景图，并通过构建后期融合结构来学习多个图像表示。这份研究提供了使用场景图解决VQA的多方面研究，是其类型中的首次探索。
发现论文，激发创造
  • 视觉问答

    本文提出自由和开放的视觉问答（VQA）任务，旨在通过自然语言问题回答图片问题，涉及到图片理解、多种语言的回答以及数据集和评价方法。

    May, 2015

  • 视觉问答: 方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合Visual Genome数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 图形化结构表示用于视觉问题回答

    本文提出通过建立基于场景信号和问题信息的图结构，应用深度神经网络分析问题的方法来提升视觉问答（VQA）的性能，相比于基于CNN/LSTM的VQA方法，本方法获得了显著的改善，其准确性从71.2％提高到74.4％，在不同的“平衡”场景中的准确性则提高了4.4％。

    Sep, 2016

  • 视觉问答算法分析

    本文分析了现有的视觉问答（VQA）算法，并使用一个新数据集进行了评估，提出了新的评估方案来补偿过度展示的问题类型，并研究了不同算法的优缺点和注意力机制的作用。

    Mar, 2017

  • 利用场景图和视觉注意力为视觉问答生成自然语言解释

    本文介绍了一种新的方法来生成自然语言的解释，解释视觉问答（VQA）问题的答案，其包含图像中支持答案的证据，使用了场景图中的实体注释和VQA模型生成的关注图来证明。在Visual Genome（VG）数据集上运行算法，并进行内部用户研究，证明了我们的方法的有效性。

    Feb, 2019

  • 利用场景图进行视觉问答的实证研究

    本文提出了一种使用场景图和图网络进行视觉问答的方法，具有比当前最先进的视觉问答算法更清晰的架构，同时可以解释推理过程，展示了可解释的视觉问答的潜力。

    Jul, 2019

  • 视觉问答中的场景图推理

    我们提出了一种基于场景图和强化学习的方法来解决视觉问答任务，实验结果表明该方法在GQA数据集上已达到接近人类水平的效果。

    Jul, 2020

  • GraghVQA: 基于语言引导的图神经网络用于基于图像的视觉问答

    本研究提出了一种基于场景图的自然语言问答模型GraphVQA，该模型采用语言引导的图神经网络，并使用节点间的多次信息传递来翻译和执行自然语言问题。我们探讨了GraphVQA框架的设计空间，并讨论了不同设计选择的权衡。在GQA数据集上的实验证明，GraphVQA明显优于现有模型（88.43%对94.78%）。

    Apr, 2021

  • VQA-GNN：用多模态语义图推理进行视觉问答

    本文介绍了Visual Question Answering——Graph Neural Network模型，用于解决视觉理解中的概念层次推理问题，与现有模型相比，该模型将图像级别信息和概念知识进行了统一，并在VCR任务中取得了优于Trans-VL模型的最佳结果。此外，该模型还提供了跨视觉和文本知识领域的可解释性。

    May, 2022

  • SelfGraphVQA：基于自监督图神经网络的基于场景的问题回答

    通过使用预训练场景图生成器从图像中提取场景图，并应用语义保持增强和自监督技术，我们引入了SelfGraphVQA框架，改进了图表示在视觉问答任务中的利用，从而避免昂贵和潜在有偏的注释数据，并通过图像增强创建提取图的多个视图，通过优化它们表示中的信息内容来学习联合嵌入。我们实验并证明了提取的场景图对于视觉问答非常有效，并且通过强调视觉信息的重要性来提升整体性能，为依赖场景图进行复杂推理问题的视觉问答任务提供了更实用的解决方案。

    Oct, 2023