ICCVNov, 2019

基于场景图的图像检索 -- CLEVR 数据集的案例研究

PDF
TL;DR本研究论文提出了基于神经符号方法，利用场景图像来进行文本图像检索的解决方案，并训练了一种可学习的图匹配算法来实现检索任务，并实现了一个基于交互式问答的迭代检索框架。
text-based image retrievalneural-symbolic approachscene-graphsgraph matching problemiterative retrieval framework
发现论文，激发创造
  • 通过学习场景图之间的相似度进行图像检索

    本文通过使用图神经网络测量场景图的相似度，提出了一种基于场景图相似度的图像检索方法，并使用人工注释的标题计算图片相关性测量来训练图神经网络，收集了一个数据集用于评估检索算法，并显示我们的方法比竞争方法更符合人类对图像相似性的感知。

    Dec, 2020

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • StacMR: 场景文本感知的跨模态检索

    本文提出了一个新的数据集，使得可以探索图像包含场景文本实例时的交叉检索。我们提出了几种方法，其中包括更好的场景文本感知交叉检索方法，它使用了来自标题和视觉场景文本的专门表示，并将它们调和在一个公共嵌入空间中。大量实验证实了这些方法从场景文本中受益，并突出了值得进一步探索的有趣研究问题。本文中提出的数据集和代码可在 http URL 中获得。

    Dec, 2020

  • 利用场景图的结构化基于查询的图像检索

    该论文介绍了一种基于场景图嵌入的方法，将视觉关系作为结构化查询用于图像检索，其在低频率对象检索上效果显著。

    May, 2020

  • 使用自然语言查询进行交互式检索复杂场景的逐层钻取

    本文提出了 Drill-down，该方法可以使用自然语言进行交互式图像检索，能够在包含多个对象的复杂图像场景中有效地使用多轮查询和弱监督，这种方法展现了优越的表现。

    Nov, 2019

  • 语言辅助下的场景检索：我在哪里？

    使用自然语言接口和语境 AI 的研究，探索以自然语言查询来识别 3D 场景图的场景检索方法，并介绍了 Text2SceneGraphMatcher 的学习框架和数据集。

    Apr, 2024

  • 使用场景图实现交互式图像生成

    本文提出了一种基于场景图的递增式图像生成模型，该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像，实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。

    May, 2019

  • 视觉问答中的场景图推理

    我们提出了一种基于场景图和强化学习的方法来解决视觉问答任务，实验结果表明该方法在 GQA 数据集上已达到接近人类水平的效果。

    Jul, 2020

  • 跨模态场景图匹配用于关系感知的图像 - 文本检索

    本文研究了如何使用视觉场景图和文本场景图来联合表示图像和文本中的对象和关系，从而进行跨模态图像文本检索。本研究通过设计特定的场景图编码器实现了物体级和关系级跨模态特征的提取，取得了 Flickr30k 和 MSCOCO 数据集上最先进的结果。

    Oct, 2019

  • 利用神经场景图生成器学习视觉关系先验用于图像文本匹配和图像字幕生成

    通过结合神经场景图生成器和最先进的模型，我们的实验表明用于促进语言到视觉关系的关系特征能够显著改进标准的 Flickr30K 和 MSCOCO 基准测试，在端到端的视觉和语言应用中捕获视觉关系。

    Sep, 2019