Mar, 2023

基于场景图的图像 - 文本检索融合网络

PDF
TL;DR本研究提出了一种基于场景图融合网络的图像 - 文本检索方法，通过内部和交叉模态融合来增强图像 / 文本特征，并采用层次化的融合注意力来将语义信息嵌入到图像 / 文本特征向量之中，进而进行图像 - 文本的检索任务。实验结果表明，本方法相比其他现有技术，在公开数据集 Flickr30K 和 MSCOCO 上取得了更好的效果。
发现论文，激发创造
  • 跨模态场景图匹配用于关系感知的图像 - 文本检索

    本文研究了如何使用视觉场景图和文本场景图来联合表示图像和文本中的对象和关系，从而进行跨模态图像文本检索。本研究通过设计特定的场景图编码器实现了物体级和关系级跨模态特征的提取，取得了 Flickr30k 和 MSCOCO 数据集上最先进的结果。

    Oct, 2019

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • CMFN: 跨模态融合网络用于不规则场景文字识别

    提出了一种新颖的交叉模态融合网络（CMFN），用于不规则场景文本识别，将视觉线索融入语义挖掘过程中，实验证明该算法在性能上与最先进的算法相当，验证了其有效性。

    Jan, 2024

  • SG-Adapter：使用场景图引导增强文本到图像生成

    通过引入场景图适配器（SG-Adapter）来纠正原始文本嵌入中的不准确性，使生成的图像与复杂情境中的多个对象和关系的人类预期保持一致。

    May, 2024

  • 通过学习场景图之间的相似度进行图像检索

    本文通过使用图神经网络测量场景图的相似度，提出了一种基于场景图相似度的图像检索方法，并使用人工注释的标题计算图片相关性测量来训练图神经网络，收集了一个数据集用于评估检索算法，并显示我们的方法比竞争方法更符合人类对图像相似性的感知。

    Dec, 2020

  • 基于场景文本的知识挖掘用于细粒度识别

    提出了一种可进行场景文字图像语义挖掘、增强细粒度图像分类表示的端到端可训练网络，其通过三种模态：视觉特征提取、文本语义提取和相关背景知识相结合，利用 KnowBert 检索相关知识来进行语义表示，并在 Con-Text 和 Drink Bottle 数据集上实验，证明了该方法的有效性，MAP 分别比现有文献最高提升了 3.72% 和 5.39%。

    Mar, 2022

  • StacMR: 场景文本感知的跨模态检索

    本文提出了一个新的数据集，使得可以探索图像包含场景文本实例时的交叉检索。我们提出了几种方法，其中包括更好的场景文本感知交叉检索方法，它使用了来自标题和视觉场景文本的专门表示，并将它们调和在一个公共嵌入空间中。大量实验证实了这些方法从场景文本中受益，并突出了值得进一步探索的有趣研究问题。本文中提出的数据集和代码可在 http URL 中获得。

    Dec, 2020

  • 使用场景图实现交互式图像生成

    本文提出了一种基于场景图的递增式图像生成模型，该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像，实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。

    May, 2019

  • 基于场景图的图像检索 -- CLEVR 数据集的案例研究

    本研究论文提出了基于神经符号方法，利用场景图像来进行文本图像检索的解决方案，并训练了一种可学习的图匹配算法来实现检索任务，并实现了一个基于交互式问答的迭代检索框架。

    Nov, 2019

  • 图像 - 文本 - 图形空间粗糙到精细对比学习，旨在提高视觉语言组合能力

    通过构建图像场景的文本表示形式，提出了一种图形分解和增强框架以进行对比学习，同时提出了一种用于改善 scene graph 空间中属性绑定和关系理解的负样本挖掘技术，通过大量实验证明了该方法的有效性。

    May, 2023