Mar, 2021

快速检索、智能重新排名：协作和联合方法改进跨模态检索

HTML
PDF
TL;DR本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本-图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。
发现论文，激发创造
  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像-文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的loss函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 使用Transformer编码器进行跨模态检索的细粒度视觉文本对齐

    通过词区匹配实现图像-句子匹配, 本文提出了一种名为TERAN的新方法，在图像和句子的不同组件之间执行精细匹配，从而实现了跨模式检索，并在MS-COCO和Flickr30k数据集上获得了最先进的结果。

    Aug, 2020

  • 快与慢的思考：利用Transformer进行高效的文本-图像检索

    本研究通过将视觉和文本独立地映射到联合嵌入空间中的双编码器方法和使用跨注意力的视觉文本变压器方法来进行大规模图像和视频数据集的基于语言的搜索，并将两种方法相结合，提高了检索准确性并确保了可扩展性，同时还引入了新的细粒度跨注意力架构，并通过蒸馏和重新排序结合了快速双编码器模型和缓慢但准确的变压器模型，并在Flickr30K图像数据集和VATEX视频数据集上验证了该方法。

    Mar, 2021

  • 视觉语言预训练模型在监督跨模态检索中的全面经验研究

    本文使用最新的视觉-语言预训练模型CLIP，设计了一种名为CLIP4CMR的改进型跨模态检索框架，通过实验研究不同学习目标的设计问题、在解决多模态类别级联表示问题方面的应用、及其对实际应用的影响和灵敏度等关注方面的分析，对监督型跨模态检索进行了全面的实证研究，以期提供对模型设计和实际应用的意见和新视角。

    Jan, 2022

  • 跨模态图像-文本检索基准的重新思考

    本文针对图文检索中的细粒度语义匹配问题，以MSCOCO-Test-5K和Flickr30K-Test-1K数据集不足的情况为背景，提出了将其重建为MSCOCO-FG和Flickr30K-FG等数据集的方法，并通过模型评估和实验指出了模型在细粒度语义理解方面的不足之处和提升空间。

    Apr, 2023

  • 使用变换器将两个流编码器统一，用于跨模态检索

    本研究通过使用两种Transformer编码器架构来统一图像和文本之间的差异，提出了一种基于层次对齐Transformer的跨模态检索框架，通过多层次的对齐方案，对图像和文本进行了更好的交互和对齐，实验证明该框架优于其他SOTA基线，并在两个基准数据集上实现了显著的提升。

    Aug, 2023

  • 跨模态检索遇见推理：通过跨模态检索提升零样本分类

    通过跨模态引导和模态置信度集成，X-MoRe方法利用CLIP的跨模态表示能力，从外部图文对数据集中检索相关的文本信息，并通过赋予可靠性更高的模态对最终预测产生贡献，从而在多样化的任务中展示了稳健的性能，充分发挥了CLIP的零样本分类能力。

    Aug, 2023

  • 跨模态协调：在多元输入模态中的协同

    提出两种不同的方法来解决跨模态检索的问题，一种基于CLIP对任意数量的输入模式进行扩展，而第二种方法通过回归跨模态相似性来解决协调问题，并在多个数据集上进行实验证明其简单有效，并允许以新的方式解决检索问题。

    Jan, 2024

  • 生成跨模态检索：以检索和超越为目的的多模态语言模型中的图像记忆

    构建在生成式语言模型基础上的多模态大型语言模型（MLLMs）拥有记忆和重新召回图像能力，介绍了一种基于生成式跨模态检索框架的方法，通过将图像存储在MLLMs中以实现记忆功能，并有效地进行跨模态检索。

    Feb, 2024