CVPRJan, 2021

跨模态检索的概率嵌入

PDF
TL;DR本研究提出了一种基于概率交叉模态嵌入的跨模态检索方法，该方法能够捕捉到一个图像或者一句话与多个相应图像或句子间的一对多关系。我们通过在 CUB 数据集上测试，证明了该方法不仅能提高检索性能，而且可以提供可解释性和不确定性的嵌入表示。
cross-modal retrieval methodsprobabilistic cross-modal embeddingone-to-many correspondencescococub dataset
发现论文，激发创造
  • 基于不确定性的概率表示交叉模态检索

    本文研究了在跨模态（即文本和图像）环境下使用概率嵌入的优势，并提出了一种简单的方法，将现有图像 - 文本匹配模型中的标准向量点嵌入替换为参数化学习的概率分布。通过广泛的实验，证明在跨模态检索中，概率表示法具有一致的优势，并验证了其捕捉不确定性的能力。

    Apr, 2022

  • 改进的概率图像文本表示

    本文提出了一种改进的概率交叉模态嵌入（PCME ++）方法，用于改进图像文本匹配（ITM）中可能存在的模糊度问题，并通过引入一种新的概率距离与解决方案以及两种优化技术来进一步增强 PCME ++。该研究表明，PCME ++ 相对于最先进的 ITM 方法具有良好的鲁棒性，并可应用于零样本分类中自动提示调优的实践中。

    May, 2023

  • 多模式图像检索的概率组合嵌入

    本文在图像检索中，研究了使用多个多模态查询的检索场景，并提出了一种新的多模态概率组合器，用于检索具有多个多模态查询指定语义概念的目标图像，同时在基于 MS-COCO 数据集的新基准上评估了我们的模型表现。

    Apr, 2022

  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018

  • 跨模态信息检索是否可以无需训练？

    本文提出了一种基于深度学习预训练模型的编码表示方法，使用简单的最小二乘和奇异值分解（SVD）解决 Procrustes 问题来构建不同模态之间的语义对齐，并通过对预训练模型进行反证学习和多层感知机改进，实现了在图像和文本交叉检索任务中可比拟于需要昂贵的神经网络训练和微调的高性能。

    Apr, 2023

  • 利用多元嵌入集合改进跨模态检索

    本文提出了一种新颖的基于集合的嵌入方法，采用了名为 “smooth-Chamfer 相似度” 的新型相似度函数和一种名为 “slot attention mechanism” 的新型集合预测模块，以有效地捕获输入的多样化语义，并在 COCO 和 Flickr30K 数据集上展示了优异的性能。

    Nov, 2022

  • 跨模态系统是否利用语义关系？

    该论文提出一种新的语义相似度评估指标 SemanticMap 来评估跨模态检索系统的性能，并且提出了基于单流网络的新型跨模态检索系统，该系统使用深度神经网络训练，并在 MSCOCO 和 Flickr30K 数据集上进行了评估。

    Sep, 2019

  • 通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

    本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

    Nov, 2017

  • 跨模态视频文字检索的记忆增强嵌入学习

    本研究提出了一种新颖的记忆增强嵌入学习（MEEL）方法，构建了两种记忆模块，交叉模态记忆模块和文本中心记忆模块，用于跨模态视频文本检索任务，解决了局部负样本和文本描述多样性的问题。在 MSR-VTT 和 VATEX 两个基准数据集上进行的实验表明，该方法具有很高的有效性。

    Mar, 2021

  • MCSE: 句子嵌入的多模态对比学习

    本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

    Apr, 2022