Oct, 2023

NEUCORE：用于组合图像检索的神经概念推理

PDF
TL;DR综合图像检索通过结合参考图像和文本修饰器来识别所需的目标图像是一项具有挑战性的任务，需要模型理解视觉和语言模态及其相互作用。本研究提出了一种名为 NEUral COncept REasoning (NEUCORE) 模型，将多模态理解移动到概念级细粒度，学习多模态概念对齐，从而识别与文本修饰器相对应的参考或目标图像的视觉位置。我们的方法，在三个数据集上进行了评估，并取得了最先进的结果。
composed image retrievalmulti-modal concept alignmentprogressive multimodal fusionfine-granularitymulti-instance learning
发现论文，激发创造
  • 使用双重多模式编码器对合成图像检索进行候选集重新排序

    该研究提出了一个两阶段模型：第一阶段使用常规向量距离度量，快速对候选项进行修剪；第二阶段采用双编码器体系结构，对参考文本 - 候选项 - 文本进行有效注视和重新排序，利用视觉和语言预训练网络，实现了组合先前方法的优点。

    May, 2023

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 图像检索中的图像 - 文本查询组合学习

    本文研究了基于多模态（图像 - 文本）查询的图像检索问题，提出了自编码器模型 ComposeAE，采用深度度量学习方法学习了推动源图像和文本查询组成更接近目标图像的度量，并在 MIT-States、Fashion200k 和 FashionIQ 三个基准数据集上优于当前最先进的 TIRG 方法。

    Jun, 2020

  • 极端学习图像多模态深度网络压缩

    本文提出了一种文字引导图像压缩的多模态机器学习方法，通过使用文本的语义信息来引导图像压缩，以实现更好的压缩性能，包括采用图像 - 文本注意力模块和改进的多模态语义一致性损失函数。实验证明，该方法能够在极低比特率下获得较好的视觉效果，并且即使与最先进的技术相比，其性能也可以相媲美或超越。

    Apr, 2023

  • 多模态梯度注意力学习用于可解释的组合图像检索

    我们提出了一种基于梯度注意的学习目标，用于解决组合图像检索问题。通过引入新的注意力计算技术和学习目标，我们展示了对图像区域进行更准确的定位和改进，并通过标准基准数据集显示了更好的可解释性和竞争性的定量检索性能。

    Aug, 2023

  • 组合图像检索的双重关系对齐

    我们提出了一种新的合成图像检索框架，名为双关系对齐，它将显式和隐式关系相结合，充分利用三元组之间的相关性，通过融合参考图像和目标图像设计了一个视觉组合器，显著提升了合成图像检索性能。

    Sep, 2023

  • 利用加性注意力组合学习的图像搜索与文本反馈

    该研究提出了一种称为 AACL 的方法，它基于多模式 Transformer 结构，可用于有效地检索类似于给定源图像的目标图像并且满足所提供的修改。在多项实验中，AACL 均实现了最新的最佳结果。

    Mar, 2022