AAAIDec, 2020

通过学习场景图之间的相似度进行图像检索

PDF
TL;DR本文通过使用图神经网络测量场景图的相似度，提出了一种基于场景图相似度的图像检索方法，并使用人工注释的标题计算图片相关性测量来训练图神经网络，收集了一个数据集用于评估检索算法，并显示我们的方法比竞争方法更符合人类对图像相似性的感知。
发现论文，激发创造
  • 使用相对相似性监督的场景图嵌入

    本文探讨利用图卷积网络对场景图进行结构化表示并生成有用的语义图像嵌入的方法，通过相似性标签学习图像表示，提出一种新的排序损失函数并设计三元采样策略，实验表明此方法优于已知相似性损失，且能够很好地捕捉场景的全局信息。

    Apr, 2021

  • 基于场景图的图像检索 -- CLEVR 数据集的案例研究

    本研究论文提出了基于神经符号方法，利用场景图像来进行文本图像检索的解决方案，并训练了一种可学习的图匹配算法来实现检索任务，并实现了一个基于交互式问答的迭代检索框架。

    Nov, 2019

  • 使用 Transformer 学习场景图和图像之间的相似性

    本研究通过引入对比学习框架，提出了一种用于测量图像和场景图相似性的图像 - 图形对齐方法，并且通过引入 R-Precision 作为新的评估指标，建立了基于 Visual Genome 和 Open Images 数据集的新基准。

    Apr, 2023

  • 使用场景图进行视觉关系检测：一项调查

    本文为场景图生成的详细调查报告，主要讨论了场景图生成的各种技术、它们的有效性以及场景图在视觉关系理解和其他任务中的应用，同时分析了未来发展的方向。

    May, 2020

  • 利用场景图的结构化基于查询的图像检索

    该论文介绍了一种基于场景图嵌入的方法，将视觉关系作为结构化查询用于图像检索，其在低频率对象检索上效果显著。

    May, 2020

  • 基于场景图的图像 - 文本检索融合网络

    本研究提出了一种基于场景图融合网络的图像 - 文本检索方法，通过内部和交叉模态融合来增强图像 / 文本特征，并采用层次化的融合注意力来将语义信息嵌入到图像 / 文本特征向量之中，进而进行图像 - 文本的检索任务。实验结果表明，本方法相比其他现有技术，在公开数据集 Flickr30K 和 MSCOCO 上取得了更好的效果。

    Mar, 2023

  • 关注关系网络：将图像映射到场景图

    本研究提出了一种新颖的基于注意力机制的关系网络，其包含两个关键模块和一个目标检测主干以实现场景图自动生成，并在 Visual Genome 数据集上进行了实验验证其有效性和优越性。

    Nov, 2018

  • 利用场景图上下文改进图像生成

    本研究提出使用场景图上下文来改善场景图的图像生成，通过引入上下文网络将图卷积神经网络生成的特征并入图像生成网络和对抗性损失，从而不仅能够生成逼真的图像，还能更好地保留非空间对象之间的关系，并定义两个评估指标，Relation Score 和 Mean Opinion Relation Score，直接评估场景图的一致性，并经过定量和定性研究证明了该模型在这一具有挑战性的任务上优于现有技术。

    Jan, 2019

  • 跨模态场景图匹配用于关系感知的图像 - 文本检索

    本文研究了如何使用视觉场景图和文本场景图来联合表示图像和文本中的对象和关系，从而进行跨模态图像文本检索。本研究通过设计特定的场景图编码器实现了物体级和关系级跨模态特征的提取，取得了 Flickr30k 和 MSCOCO 数据集上最先进的结果。

    Oct, 2019

  • 从场景图生成图像

    提出了一种利用场景图生成图像的模型，其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局，并使用级联细化网络将布局转换为图像，训练对抗鉴别器来确保生成的图像具有逼真度。

    Apr, 2018