May, 2023

使用双重多模式编码器对合成图像检索进行候选集重新排序

PDF
TL;DR该研究提出了一个两阶段模型：第一阶段使用常规向量距离度量，快速对候选项进行修剪；第二阶段采用双编码器体系结构，对参考文本 - 候选项 - 文本进行有效注视和重新排序，利用视觉和语言预训练网络，实现了组合先前方法的优点。
composed image retrievaldual-encoder architecturevision-and-languagequery-text-candidate tripletspre-trained network
发现论文，激发创造
  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018

  • 组合图像检索的双重关系对齐

    我们提出了一种新的合成图像检索框架，名为双关系对齐，它将显式和隐式关系相结合，充分利用三元组之间的相关性，通过融合参考图像和目标图像设计了一个视觉组合器，显著提升了合成图像检索性能。

    Sep, 2023

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021

  • 文本视频双编码检索

    本文提出了一种新的视频检索方法，采用双重深度编码网络进行多级编码，将视频和查询作为两种模态编码为向量，同时结合好的可解释性和性能的高性能的概念空间和潜在空间来进行深空间学习，经实验证明了方法的可行性。

    Sep, 2020

  • 图像检索中的图像 - 文本查询组合学习

    本文研究了基于多模态（图像 - 文本）查询的图像检索问题，提出了自编码器模型 ComposeAE，采用深度度量学习方法学习了推动源图像和文本查询组成更接近目标图像的度量，并在 MIT-States、Fashion200k 和 FashionIQ 三个基准数据集上优于当前最先进的 TIRG 方法。

    Jun, 2020

  • 图像检索中的文本与图像构成 - 实证之旅

    本文提出了一种基于图像和文本相结合的检索方法，利用相似度度量、嵌入式学习以及组合函数对目标图像进行了描述，并在三种不同数据集上进行了验证，证明了该方法在输入查询分类和图像检索方面的有效性。

    Dec, 2018

  • NEUCORE：用于组合图像检索的神经概念推理

    综合图像检索通过结合参考图像和文本修饰器来识别所需的目标图像是一项具有挑战性的任务，需要模型理解视觉和语言模态及其相互作用。本研究提出了一种名为 NEUral COncept REasoning (NEUCORE) 模型，将多模态理解移动到概念级细粒度，学习多模态概念对齐，从而识别与文本修饰器相对应的参考或目标图像的视觉位置。我们的方法，在三个数据集上进行了评估，并取得了最先进的结果。

    Oct, 2023

  • 轻量级文本图像检索的两阶段模型压缩：更精简、更快速

    本文提出了一种有效的两阶段框架，用于压缩大型预训练双编码器，以实现轻量级文本图片检索，其结果模型较小（原始的 39％），处理图像 / 文本的速度快（分别为 1.6x / 2.9x），在 Flickr30K 和 MSCOCO 基准测试中表现不输于原始完整模型，并且我们也开源了一个逼真的移动图像搜索应用程序。

    Apr, 2022

  • 快与慢的思考：利用 Transformer 进行高效的文本 - 图像检索

    本研究通过将视觉和文本独立地映射到联合嵌入空间中的双编码器方法和使用跨注意力的视觉文本变压器方法来进行大规模图像和视频数据集的基于语言的搜索，并将两种方法相结合，提高了检索准确性并确保了可扩展性，同时还引入了新的细粒度跨注意力架构，并通过蒸馏和重新排序结合了快速双编码器模型和缓慢但准确的变压器模型，并在 Flickr30K 图像数据集和 VATEX 视频数据集上验证了该方法。

    Mar, 2021

  • 带有实例损失的双路径卷积图像 - 文本嵌入

    本文提出了一种新的系统，以区分性地嵌入图像和文本到共享的视觉 - 文本空间，通过实例损失和端到端学习的双路径卷积网络来解决图像和文本匹配问题，并在 Flickr 30k 和 MSCOCO 上达到了与最先进方法相当的准确度，同时在基于语言的人员检索中取得了很大的改进。

    Nov, 2017