CVPRNov, 2021

图关系变换器：将成对物体特征纳入 Transformer 架构中

PDF
TL;DR我们提出了一种名为 GRT 的图形关系 Transformer 方法，它使用边缘信息来计算转换器中图形关注操作，它在视觉问答任务中取得了很好的效果。
visual question answeringtextvqaedge featuresgraph relation transformerspatial reasoning
发现论文，激发创造
  • 视频问题回答的视频图变换器

    该研究论文提出了一种名为 VGT 的视频图形转换器模型，旨在解决视频问答任务中动态关系推理方面的挑战，其独特性在于利用动态图形变换器模块对视频进行编码，并利用分离的视频和文本变换器来执行问答任务。通过充分的分析和启发性的观察，证明了 VGT 的有效性和优越性，并揭示了其可用于更数据有效的预训练。

    Jul, 2022

  • 关系感知语言 - 图变换器用于问答

    提出了一种可以利用 KG 丰富的关系信息和 LM 之间有限的交互方式，联合处理自然语言和图表信息的方法，并通过 CommonsenseQA 和 OpenBookQA 等数据集的验证，在所有数据集上都取得了最先进的性能。

    Dec, 2022

  • 多模态问答的多模态图形转换器

    本文提出一种多模态图变换器，它利用了文本和视觉数据的多模态信息，并通过结构化学习和图神经网络的方法对自注意力进行约束以提高推理能力，适用于需要跨多个模态执行推理的问题回答任务。我们通过在 GQA，VQAv2 和 MultiModalQA 数据集上进行实验来验证这种方法的有效性，表明多模态图变换器优于 Transformer 模型基线。

    Apr, 2023

  • GraghVQA: 基于语言引导的图神经网络用于基于图像的视觉问答

    本研究提出了一种基于场景图的自然语言问答模型 GraphVQA，该模型采用语言引导的图神经网络，并使用节点间的多次信息传递来翻译和执行自然语言问题。我们探讨了 GraphVQA 框架的设计空间，并讨论了不同设计选择的权衡。在 GQA 数据集上的实验证明，GraphVQA 明显优于现有模型（88.43% 对 94.78%）。

    Apr, 2021

  • 面向视觉问答的关系感知图注意力网络

    本研究提出了一种基于关系感知图形注意力网络（ReGAT）的 VQA 模型，该模型通过图形注意机制将每个图像编码为图形，再通过多类型的物体关系建模，以学习问题自适应的关系表示，并在 VQA 2.0 和 VQA-CP v2 数据集上优于现有的 VQA 方法，同时具有通用的关系编码器功能。

    Mar, 2019

  • 关系变换网络

    该论文提出了一种新颖的 transformer 模型，用于场景图生成和关系预测，利用编码器 - 解码器架构和节点和边的丰富特征嵌入，通过自我注意力和交叉注意力模拟节点之间和边与节点之间的交互，并引入适用于处理解码器中的边的新的位置嵌入。

    Apr, 2020

  • 面向 TextVQA 的空间感知多模态 Transformer

    本研究提出了基于 TextVQA 任务的一种新型空间感知自注意力模型，可以有效地推理图像中的文本内容，改进了 TextVQA 和 ST-VQA 两个关键指标，同时为视觉绑定的研究方向提供了新的思路。

    Jul, 2020

  • VQA-GNN：用多模态语义图推理进行视觉问答

    本文介绍了 Visual Question Answering——Graph Neural Network 模型，用于解决视觉理解中的概念层次推理问题，与现有模型相比，该模型将图像级别信息和概念知识进行了统一，并在 VCR 任务中取得了优于 Trans-VL 模型的最佳结果。此外，该模型还提供了跨视觉和文本知识领域的可解释性。

    May, 2022

  • 图像解析的图推理变压器

    本文提出了一种基于图推理的转换器模型，通过引入关系推理模式来解决传统基于注意力机制的图像补丁交互中存在的问题，并在计算效率和相对于现有转换器基线的性能表现上实现了显著提高。

    Sep, 2022

  • 利用先验视觉关系的场景图推理用于视觉问答

    使用结构化可视化表征 —— 场景图，通过可视上下文和语言因素进行关系编码，使用场景图卷积网络实现对对象属性和关系语义的联合推理来回答视觉问题，从而在 GQA 数据集上实现了 54.56％的最高准确率。

    Dec, 2018