跨模态信息检索是否可以无需训练？

Apr, 2023

跨模态信息检索是否可以无需训练？

Is Cross-modal Information Retrieval Possible without Training?

Hyunjin Choi, Hyunjae Lee, Seongho Joe, Youngjune L. Gwon

TL;DR本文提出了一种基于深度学习预训练模型的编码表示方法，使用简单的最小二乘和奇异值分解（SVD）解决 Procrustes 问题来构建不同模态之间的语义对齐，并通过对预训练模型进行反证学习和多层感知机改进，实现了在图像和文本交叉检索任务中可比拟于需要昂贵的神经网络训练和微调的高性能。

Abstract

Encoded representations from a pretrained deep learning model (e.g., BERT text embeddings, penultimate CNN layer activations of an image) convey a rich set of features beneficial for information retrieval. Embedd

deep learning information retrieval cross-modal mapping contrastive learning multilayer perceptron

发现论文，激发创造

重新审视跨模态检索

本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

Jul, 2018

用于多通道视频 - 语言检索的预训练对比模型的快速适应

探索多模态检索中利用预训练对比模型和文本符号融合信息的最佳方式，并发现用离散文本符号表示视频的方法取得最佳效果。

Jun, 2022

使用图卷积网络对文本建模用于跨模态信息检索

本研究提出了一种基于图的文本建模方法和双向神经网络模型，用于跨模态信息检索，结合卷积神经网络和 Graph Convolutional Network，通过相似度度量，并采用成对相似度损失函数训练模型，在准确率提升了 17％的前提下，成为了最先进的方法。

Feb, 2018

跨模态系统是否利用语义关系？

该论文提出一种新的语义相似度评估指标 SemanticMap 来评估跨模态检索系统的性能，并且提出了基于单流网络的新型跨模态检索系统，该系统使用深度神经网络训练，并在 MSCOCO 和 Flickr30K 数据集上进行了评估。

Sep, 2019

跨模态检索中的持续学习

本文提出了一个结合多模态学习嵌入与持续学习的框架，研究了新任务导致了的困扰与不同因素造成的遗忘，发现索引阶段对任务效果有显著影响，并提出缓解遗忘的工具。在两个图像 - 文本检索数据集中证明了我们的方法的显著提高。

Apr, 2021

跨模态检索综述

本文对异构数据检索问题进行了探讨，综述并分类了已有的交叉检索方法，包括基于实值表示学习和基于二进制表示学习的方法，并介绍了多个常用的多模态数据集以及比较不同方法的实验结果。

Jul, 2016

MCSE: 句子嵌入的多模态对比学习

本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

Apr, 2022

对比交叉模态知识共享预训练用于视觉语言表示学习和检索

本研究提出了一种名为 COOKIE 的对比交叉模态知识共享预训练方法，采用传统的双流结构并结合两个有效的模块实现文本 - 图像联合表征，旨在提高跨模态检索的计算效率和统计指标。

Jul, 2022

通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

Nov, 2017

基于不确定性的概率表示交叉模态检索

本文研究了在跨模态（即文本和图像）环境下使用概率嵌入的优势，并提出了一种简单的方法，将现有图像 - 文本匹配模型中的标准向量点嵌入替换为参数化学习的概率分布。通过广泛的实验，证明在跨模态检索中，概率表示法具有一致的优势，并验证了其捕捉不确定性的能力。

Apr, 2022