视觉问答中的场景图推理
本文针对视觉问答任务进行综述,比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估,结合Visual Genome数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向,重点关注结构化知识库和自然语言处理模型的连接。
Jul, 2016
本文提出通过建立基于场景信号和问题信息的图结构,应用深度神经网络分析问题的方法来提升视觉问答(VQA)的性能,相比于基于CNN/LSTM的VQA方法,本方法获得了显著的改善,其准确性从71.2%提高到74.4%,在不同的“平衡”场景中的准确性则提高了4.4%。
Sep, 2016
本论文提出了一种基于图形的视觉问答新方法,该方法结合了用于学习问题特定图形表示的图形学习器模块和最近的图形卷积概念,旨在学习能够捕捉问题特定交互的图像表示。该方法在VQA v2数据集上获得了66.18%的准确率,证明了其可解释性。
Jun, 2018
本研究提出了一种基于关系感知图形注意力网络(ReGAT)的VQA模型,该模型通过图形注意机制将每个图像编码为图形,再通过多类型的物体关系建模,以学习问题自适应的关系表示,并在VQA 2.0和VQA-CP v2数据集上优于现有的VQA方法,同时具有通用的关系编码器功能。
Mar, 2019
本文通过实验探讨使用场景图(Scene Graphs)解决视觉问答(Visual Question Answering)任务。作者采用图像+问题架构研究场景图的各种生成技术,建议一套训练课程以利用人类注释和自动生成的场景图,并通过构建后期融合结构来学习多个图像表示。这份研究提供了使用场景图解决VQA的多方面研究,是其类型中的首次探索。
Jan, 2021
本研究提出了一种基于场景图的自然语言问答模型GraphVQA,该模型采用语言引导的图神经网络,并使用节点间的多次信息传递来翻译和执行自然语言问题。我们探讨了GraphVQA框架的设计空间,并讨论了不同设计选择的权衡。在GQA数据集上的实验证明,GraphVQA明显优于现有模型(88.43%对94.78%)。
Apr, 2021
本文提出一种名为动态知识记忆增强多步图推理(DMMGR)的新型模型,能够在键-值知识记忆模块和空间感知图像图上执行显式和隐式推理,并在KRVQR和FVQA数据集上实现了新的最先进的准确性。
Mar, 2022
本文介绍了Visual Question Answering——Graph Neural Network模型,用于解决视觉理解中的概念层次推理问题,与现有模型相比,该模型将图像级别信息和概念知识进行了统一,并在VCR任务中取得了优于Trans-VL模型的最佳结果。此外,该模型还提供了跨视觉和文本知识领域的可解释性。
May, 2022
通过使用预训练场景图生成器从图像中提取场景图,并应用语义保持增强和自监督技术,我们引入了SelfGraphVQA框架,改进了图表示在视觉问答任务中的利用,从而避免昂贵和潜在有偏的注释数据,并通过图像增强创建提取图的多个视图,通过优化它们表示中的信息内容来学习联合嵌入。我们实验并证明了提取的场景图对于视觉问答非常有效,并且通过强调视觉信息的重要性来提升整体性能,为依赖场景图进行复杂推理问题的视觉问答任务提供了更实用的解决方案。
Oct, 2023