Oct, 2023

探索基于图推理的文本视觉问答中的稀疏空间关系

PDF
TL;DRTextVQA 中解决冗余关系推理的稀疏空间图网络 (SSGN) 被提出，通过空间感知关系修剪技术识别最重要的连接或消除冗余连接，在图学习中考虑物体 - 物体关系和 OCR-OCR 标记关系。实验证明 SSGN 在 TextVQA 和 ST-VQA 数据集上取得了令人满意的性能表现，并且某些可视化结果进一步证明了我们方法的可解释性。
text-based visual question answeringredundant relational inferencesparse spatial graph networkobject-object relationshipsocr-ocr token relationships
发现论文，激发创造
  • 利用先验视觉关系的场景图推理用于视觉问答

    使用结构化可视化表征 —— 场景图，通过可视上下文和语言因素进行关系编码，使用场景图卷积网络实现对对象属性和关系语义的联合推理来回答视觉问题，从而在 GQA 数据集上实现了 54.56％的最高准确率。

    Dec, 2018

  • SR-GNN: 面向细粒度图像分类的空间关系感知图神经网络

    本文介绍一种有效的方法，通过聚合来自最相关的图像区域的上下文感知特征及其在区分细粒度类别中的重要性来捕获细微变化，避免边框和 / 或可见部分注释，并通过自我关注和图形神经网络的最新进展来包括一种简单而有效的关系感知特征变换及其在端到端学习过程中的性能评估。评估了我们的模型，发现其在八个细粒度对象和人类对象交互数据集上的识别准确性显著优于现有技术。

    Sep, 2022

  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023

  • 直接场景图生成的结构稀疏 R-CNN

    本文提出一种名为 结构化稀疏 R-CNN 的框架，该框架从场景图生成（SGG）的角度出发，将其视为直接集合预测。文中使用可学习的三元组查询和结构化三元组检测器，并提出级联体系结构用于渐进地完善检测到的场景图。在多个数据集上进行的实验结果表明，该方法具有最先进的性能。

    Jun, 2021

  • 通过空间关系建模改进视觉语言推理

    通过构建空间关系图并设计两种预训练任务，即目标位置回归和空间关系分类，本研究提出的方法在 VCR、VQA 和 NLVR 三个视觉与语言推理任务中取得了最先进的结果。

    Nov, 2023

  • 图像语义关系生成

    为解决场景图构建的大量人工成本，提出了一种基于图像语义关系生成的简单有效的图像到文本模型（ISRG），该模型通过将场景图任务分解为两个子任务，即图像分割任务和限制性自回归文本生成任务，极大地降低了场景图的构建成本。在 OpenPSG 数据集上，该模型获得了 31 分，相应地优于强基线 ResNet-50 和 CLIP 16 点和 5 点。

    Oct, 2022

  • 弱监督视觉语义解析

    本文提出了一个广义的场景图生成模型 —— 视觉语义解析，并基于动态、注意力机制的二分图传递框架设计了关注于图节点和边的视觉语义解析网络 (VSPNet)，同时通过一种全新的图对齐算法，建立了第一个基于图的弱监督学习框架。大量实验证明 VSPNet 优于弱监督基准，而且速度是基准的数倍，因此是训练时效和性能平衡的一个不错的选择。

    Jan, 2020

  • 基于解释的弱监督学习在视觉关系中的应用：图网络

    该论文提出了一种新型的弱监督方法，使用最少的图像级谓词标签，利用图神经网络从检测到的对象的图形表示中对图像中的谓词进行分类，将关系检测作为谓词分类器的解释，并在三个不同且具有挑战性的数据集上展示结果，表明该方法具有对不全面注释的强健性和良好的少样本泛化能力。

    Jun, 2020

  • 文本到图像生成中的空间关系基准测试

    本文研究基于大规模文本到图像合成 (T2I)，研究其中的空间理解能力，并提出了一个评估指标 VISOR，并引入一个大规模的数据集 SR2D 以及自动化评估管道，对 T2I 模型进行了大规模实验，发现其在多对象和空间关系生成方面存在严重限制和偏差，并提供了数据集和评估指标以支持 T2I 空间推理研究。

    Dec, 2022

  • 探究图像关系以用于图像描述

    本文介绍了一种利用图卷积网络和长短期记忆（GCN-LSTM）结构，将语义和空间对象关系集成到图像编码器中，以生成图像标题的新方法，并在 COCO 图像字幕数据集上开展了广泛的实验，并取得了比现有方法更好的结果。

    Sep, 2018