CVPRApr, 2020

图结构网络用于图像文本匹配

PDF
TL;DR本文提出了一种新的基于图形结构匹配网络的图像 - 文本匹配方法，可以有效地解决对象、关系和属性的细粒度对应问题。实验结果表明，该方法在 Flickr30K 和 MSCOCO 数据集上相较于其他方法拥有高达近 7% 和 2% 的召回率提升。
image-text matchingcorrespondence learninggraph structured matching networkobject relation attributefine-grained correspondence
发现论文，激发创造
  • 基于场景图的图像 - 文本检索融合网络

    本研究提出了一种基于场景图融合网络的图像 - 文本检索方法，通过内部和交叉模态融合来增强图像 / 文本特征，并采用层次化的融合注意力来将语义信息嵌入到图像 / 文本特征向量之中，进而进行图像 - 文本的检索任务。实验结果表明，本方法相比其他现有技术，在公开数据集 Flickr30K 和 MSCOCO 上取得了更好的效果。

    Mar, 2023

  • 用于学习图结构对象相似性的图匹配网络

    本文提出了两个关键性贡献：首先是演示了图神经网络如何训练并嵌入向量空间，以便有效地进行相似性推理；其次是提出了一种新的图匹配网络模型，通过新的跨图注意力匹配机制，在一对图之间共同推理，计算它们之间的相似度得分。在不同领域的实验分析表明，本文提出的模型不仅能够在相似性学习的上下文中利用结构，而且能够优于针对此类问题精心设计的基线系统。

    Apr, 2019

  • 一次性零件标记的结构化集合匹配网络

    本文提出一种结构化的集合匹配网络，使用卷积神经网络来标记一个目标图像中的多个部分，该网络被广泛地应用于三种不同的标签传递场景中的图像匹配任务，并且明显优于几个强基线方法。

    Dec, 2017

  • 多层图匹配网络用于深度图相似度学习

    本研究提出了一种多层图匹配网络框架，其中包含节点 - 图匹配网络和连体图神经网络，可在纵横交错的多层交互中精确地计算图状对象之间的相似度，并证明其在图分类和回归任务中的有效性及稳健性。

    Jul, 2020

  • CGMN: 一种用于自监督图相似性学习的对比图匹配网络

    本文提出了一种对计算机视觉、图分类和协同过滤等领域特别有用的图相似性计算方法。此方法称为自监督图相似性学习，其基于对图像对的图形匹配任务和自学来训练的一种对比学习框架，可以更好地揭示图像的差异和共性，并跨越不同的图形对进行一致性识别。此方法依赖于具有有效单个图表示的现有图形神经网络，同时启用交叉图和交叉视图互动以增强节点表示的一致性和区分度，并通过汇集操作将节点表示转换为图级表示进行图相似性计算。

    May, 2022

  • 图像 - 文本 - 图形空间粗糙到精细对比学习，旨在提高视觉语言组合能力

    通过构建图像场景的文本表示形式，提出了一种图形分解和增强框架以进行对比学习，同时提出了一种用于改善 scene graph 空间中属性绑定和关系理解的负样本挖掘技术，通过大量实验证明了该方法的有效性。

    May, 2023

  • 使用图形注意力学习图像文本匹配的双重语义关系

    本文提出了一种名为双重语义关系注意力网络 (DSRAN) 的新型图注意力方法，该方法主要由两个模块组成，分别进行不同层次的语义关系学习，从而提高图像文本匹配的准确性，并在 MS-COCO 和 Flickr30K 数据集上取得了显著优于以往方法的效果。

    Oct, 2020

  • SR-GNN: 面向细粒度图像分类的空间关系感知图神经网络

    本文介绍一种有效的方法，通过聚合来自最相关的图像区域的上下文感知特征及其在区分细粒度类别中的重要性来捕获细微变化，避免边框和 / 或可见部分注释，并通过自我关注和图形神经网络的最新进展来包括一种简单而有效的关系感知特征变换及其在端到端学习过程中的性能评估。评估了我们的模型，发现其在八个细粒度对象和人类对象交互数据集上的识别准确性显著优于现有技术。

    Sep, 2022

  • MGNet: 通过多个图学习对应关系

    MGNet 通过有效地结合多个补充图表达方法，利用全局图中的所有稀疏通信信息一次性捕捉和放大判别特征，从而在不同的视觉任务中优于现有方法。

    Jan, 2024

  • 通过不匹配关系推理进行图像文本匹配

    本文介绍了 Grounded Image Text Matching with Mismatched Relation（GITM-MR），这是一种评估基于 Transformer 的预训练模型的关系理解能力的新颖的视觉 - 语言联合任务。GITM-MR 要求模型首先确定一个表达是否描述了一个图像，然后定位所指对象或者对文本中不匹配的部分进行地面化。我们提供了一个评估预训练模型在这一任务上的基准，重点考虑数据有限和分布句子长度的挑战性设置。我们的评估表明，预训练模型缺乏数据效率和长度泛化能力。为了解决这个问题，我们提出了 Relation-sensitive Correspondence Reasoning Network（RCRN），该网络通过双向消息传递引导语言结构的方式，融入了关系感知的推理。RCRN 可以解释为模块化程序，并在长度泛化和数据效率方面表现出很好的性能。

    Aug, 2023