ARTEMIS：基于注意力机制的文本显式匹配与隐式相似度检索

ICLRMar, 2022

ARTEMIS：基于注意力机制的文本显式匹配与隐式相似度检索

ARTEMIS: Attention-based Retrieval with Text-Explicit Matching and Implicit Similarity

Ginger Delmas, Rafael Sampaio de Rezende, Gabriela Csurka, Diane Larlus

TL;DR该论文通过观察文本到图像和图像到图像检索两者的关系，提出并验证了一种利用特殊关系而不需预训练大型架构等辅助信息，且表现最优秀的基于注意力机制协调图像和自由格式文本修饰符检索的方法。

Abstract

An intuitive way to search for images is to use queries composed of an example image and a complementary text. While the first provides rich and implicit context for the search, the latter explicitly calls for new traits, or specifies how some elements of the example image should be changed to retrieve the desired target image. Current approaches typically c

image retrieval text-to-image attention mechanisms query elements state-of-the-art results

发现论文，激发创造

图像检索中的文本与图像构成 - 实证之旅

本文提出了一种基于图像和文本相结合的检索方法，利用相似度度量、嵌入式学习以及组合函数对目标图像进行了描述，并在三种不同数据集上进行了验证，证明了该方法在输入查询分类和图像检索方面的有效性。

Dec, 2018

IMRAM: 交替匹配循环注意力记忆模型用于跨模态图像 - 文本检索

本文提出一种迭代匹配循环注意力存储（IMRAM）的方法，用于捕捉图像和文本之间的细粒度对应关系，表现出了最先进的性能。

Mar, 2020

对抗表示学习用于文本到图像匹配

本文提出了一种基于 TIMAM 和 BERT 的文本图像匹配模型，该模型可以学习到模态不变的特征表示，在四个公开数据集上取得了最优的交叉模态匹配性能，排名 1 的准确率提高了 2％到 5％。

Aug, 2019

面向图像检索的多模态查询嵌入算法

本文提供了一种检测基于多模态查询的图像检索任务的新数据集 SIMAT，使用图像 / 文本匹配预测器来评估基于图像 / 文本匹配策略训练的多模态嵌入空间的几何属性，并研究了利用预训练通用句子编码器（FastText，LASER 和 LaBSE）是否有益。

Dec, 2021

Hire: 多关系增强的图片文字匹配的混合模态交互

我们提出了一种具有多重关系增强的混合模态交互（称为 Hire）的图像文本匹配方法，通过内外模态语义相关性的关联来改善物体和文本的上下文表示，进而获得更好的图像文本匹配结果。

Jun, 2024

释放文本的想象力：通过探索文字的力量实现文本到图像的人员检索的新框架

提出了一种用于文本到图像人物检索的新框架，旨在充分发掘句子中的词语力量。通过使用预训练的全 CLIP 模型作为图像和文本的双编码器，以及引入文本引导的图像恢复辅助任务和针对难样本的交叉模态三元组损失，该方法在三个流行的基准数据集上取得了最先进的结果。

Jul, 2023

远程感知影像的知识感知文本 - 影像检索

通过使用外部知识图谱挖掘相关信息，我们提出了一种适用于遥感图像的知识感知文本 - 图像检索（KTIR）方法，该方法丰富了搜索查询中可用的文本范围，缓解了文本和图像之间的信息差距，实现更好的匹配。实验结果表明，该方法在遥感文本 - 图像检索中表现出优异的检索能力，超越了现有的最先进方法。

May, 2024

文本到图像的跨模态隐含关系推理和对齐的人物检索

研究了跨模态对齐的图像检索问题，提出了一种 IRRA 框架，并在三个公共数据集上获得了优于现有方法的最新成果。

Mar, 2023

从全网图片 - 文本数据中检索来提高图像识别

研究使用检索增强模型来提高计算机视觉任务的识别能力，引入了一种基于注意力机制的记忆模块，学习从外部记忆集合中检索出的每个例子的重要性，证明了使用 10 亿个图像 - 文本对的大规模记忆数据集的好处，并在 ImageNet-LT，Places-LT 和 Webvision 数据集中取得了最先进的准确性。

Apr, 2023

统一的文本到图像生成和检索

研究中，我们提出了一个统一框架，以多模态大型语言模型（MLLMs）为背景，探索了文本到图像生成和检索之间的关系，并引入了一种生成检索方法，在无需训练的情况下进行检索。我们还构建了一个基准测试集 TIGeR-Bench 以标准化统一的文本到图像生成和检索方法的评估，并在 TIGeR-Bench 以及两个检索基准测试集 Flickr30K 和 MS-COCO 上进行了大量实验，证明了我们提出方法的优越性和效果。

Jun, 2024