使用文本和草图学习跨模态深度嵌入进行多对象图像检索

Apr, 2018

使用文本和草图学习跨模态深度嵌入进行多对象图像检索

Learning Cross-Modal Deep Embeddings for Multi-Object Image Retrieval using Text and Sketch

Sounak Dey, Anjan Dutta, Suman K. Ghosh, Ernest Valveny, Josep Lladós...

TL;DR本文介绍了一种跨模态图像检索系统，允许文本和草图作为查询的输入模态。使用跨模态深度网络架构共同建模草图和文本输入模态以及图像输出模态，通过学习文本和图像之间以及草图和图像之间的共同嵌入，使用注意力模型有选择性地关注图像的不同对象，可以实现多对象检索。实验结果表明，所提出的方法在标准数据集中实现了最佳的单对象和多对象图像检索

Abstract

In this work we introduce a cross modal image retrieval system that allows both text and sketch as input modalities for the query. A cross-modal deep network architecture is formulated to jointly model the sketch and text input modalities as well as the the image output modality, learning a common embedding between text and images and between sketches and im

cross-modal image retrieval deep network architecture attention model multiple objects standard datasets

发现论文，激发创造

重新审视跨模态检索

本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

Jul, 2018

烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

Apr, 2018

草图胜千言：带文本和草图的图像检索

本文介绍了一个基于文本及草图的图像检索模型，该模型称为 “TASK-former”，并采用了类似于 CLIP 的融合编码器的方法，众多实验表明，使用草图可以明显提高图像检索的召回率。

Aug, 2022

语音与图像的深度多模态语义嵌入

本文提出了一种模型，其将图像和相关的口头描述作为输入，并找到两种模态之间的对应关系。使用一对卷积神经网络在单词级别模拟视觉对象和语音信号，并采用嵌入和对准模型将两个网络联系在一起，以学习跨两种模态的联合语义空间，最终在 Flickr8k 数据集上使用图像搜索和注释任务评估了我们的模型。

Nov, 2015

通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

Nov, 2017

跨模态系统是否利用语义关系？

该论文提出一种新的语义相似度评估指标 SemanticMap 来评估跨模态检索系统的性能，并且提出了基于单流网络的新型跨模态检索系统，该系统使用深度神经网络训练，并在 MSCOCO 和 Flickr30K 数据集上进行了评估。

Sep, 2019

你将永不独行：细粒度图像检索的草图与文本二重奏

这篇论文提出了通过合成模型和文本来改进细粒度图像检索的方法，创新性地将素描和文本结合起来，从而实现了以往无法实现的精确检索，同时提供了解决各种实际场景的解决方案。

Mar, 2024

快速检索、智能重新排名：协作和联合方法改进跨模态检索

本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

Mar, 2021

从网络数据中通过深度语义嵌入学习学习

本研究提出利用网络和社交媒体数据来学习多模态图像和文本嵌入，旨在将在文本领域中学到的语义知识转移至用于语义图像检索的视觉模型。研究结果表明，利用带有相关文本的图像进行无监督学习的流程能够在三个基准测试中学习五种不同的文本嵌入，并在面向文本的图像检索任务中表现出与受监督方法竞争性的性能。在目标数据中训练时，我们在 MIRFlickr 数据集中明显优于现有技术。进一步，我们展示了如何使用学习到的嵌入执行语义多模态图像检索，超越了传统的实例级检索问题。最后，我们提出了一个新的数据集（InstaCities1M），由 Instagram 图像及其相关文本组成，可用于公平比较图像 - 文本嵌入方法。

Aug, 2018

针对细粒度素描图像检索的跨模态层次建模

本文提出一种基于 sketch 的图像检索方法，通过使用跨模态协同和层次结构融合的策略，能够在不同层次的详细程度上匹配 sketch 和照片，并在公共基准测试中取得远超其他方法的性能表现。

Jul, 2020