Apr, 2021

桥接到答案: 面向视频问答的结构感知图交互网络

HTML
PDF
TL;DR本文提出了一种名为 Bridge to Answer 的新方法，通过利用异构交叉模式图的充分图交互来推断有关给定视频的问题的正确答案，通过学习问题调节的视觉图，对视觉节点使用问题 - 视觉交互来包含视觉和语言线索，并通过将问题图作为中间桥梁来将两个互补的视觉信息放在一起,使可靠的信息传递，以生成适当的答案，从而证明了该方法在视频问答方面提供了有效的上乘表现。
发现论文，激发创造
  • 图形化结构表示用于视觉问题回答

    本文提出通过建立基于场景信号和问题信息的图结构，应用深度神经网络分析问题的方法来提升视觉问答（VQA）的性能，相比于基于CNN/LSTM的VQA方法，本方法获得了显著的改善，其准确性从71.2％提高到74.4％，在不同的“平衡”场景中的准确性则提高了4.4％。

    Sep, 2016

  • 学习条件化图结构以进行可解释的视觉问答

    本论文提出了一种基于图形的视觉问答新方法，该方法结合了用于学习问题特定图形表示的图形学习器模块和最近的图形卷积概念，旨在学习能够捕捉问题特定交互的图像表示。该方法在VQA v2数据集上获得了66.18％的准确率，证明了其可解释性。

    Jun, 2018

  • 面向视觉问答的关系感知图注意力网络

    本研究提出了一种基于关系感知图形注意力网络（ReGAT）的VQA模型，该模型通过图形注意机制将每个图像编码为图形，再通过多类型的物体关系建模，以学习问题自适应的关系表示，并在VQA 2.0和VQA-CP v2数据集上优于现有的VQA方法，同时具有通用的关系编码器功能。

    Mar, 2019

  • 利用场景图进行视觉问答的实证研究

    本文提出了一种使用场景图和图网络进行视觉问答的方法，具有比当前最先进的视觉问答算法更清晰的架构，同时可以解释推理过程，展示了可解释的视觉问答的潜力。

    Jul, 2019

  • 视频问答的位置感知图卷积网络

    本文提出了一种基于图卷积和位置感知的方法，通过将视频内容表示为具有位置信息的图形式来更好地回答视频问答问题。该方法结合了对象物体交互的位置和关系，提取动作的类别和时间位置。在TGIF-QA、Youtube2Text-QA和MSVD-QA数据集上得出的实验表明该方法优于现有的方法。

    Aug, 2020

  • 利用视频作为条件图层级的多粒度问答

    本文提出了一种将视频建模为条件分层图层次结构的方法，通过组合不同层次的视觉元素来对齐语言查询中的多粒度语义概念，该方法超越了先前方法的表现，且对于不同类型的问题也具有更好的泛化能力。

    Dec, 2021

  • 视频问答的 2.5+1 维时空场景图

    本文提出了一种基于(2.5+1)D 场景图表示的视频问答方法，将视频帧转成伪-3D视图并保持语义，然后基于此表示应用 transformer 模型进行推理，实验证明，该方法在视频问答任务中具有优异的性能。

    Feb, 2022

  • 视频问题回答的视频图变换器

    该研究论文提出了一种名为VGT的视频图形转换器模型，旨在解决视频问答任务中动态关系推理方面的挑战，其独特性在于利用动态图形变换器模块对视频进行编码，并利用分离的视频和文本变换器来执行问答任务。通过充分的分析和启发性的观察，证明了VGT的有效性和优越性，并揭示了其可用于更数据有效的预训练。

    Jul, 2022

  • VideoDistill: 视频问答的语言感知视觉蒸馏

    通过受到人类认知和学习模式的启发，我们提出了一种视频问题回答（VideoQA）的框架VideoDistill，该框架在视觉感知和答案生成过程中具有语言感知（即以目标驱动为特征）的行为，通过思考、观察和回答的方式生成与问题相关的显著图像。

    Apr, 2024

  • 视觉问答的多模态常识知识蒸馏

    本研究旨在解决现有多模态大语言模型和视觉语言预训练模型在处理需要外部常识知识的视觉问答问题时面临的挑战。我们提出了一种新的基于图的多模态常识知识蒸馏框架，该框架利用图卷积网络构建一个统一的关系图，有效整合常识知识、视觉对象和问题，并在ScienceQA数据集上取得了竞争力的表现。

    Nov, 2024