本文研究图像文本匹配问题，提出了一种使用交叉注意力机制的方法来发现包括图像区域和句子单词在内的全部潜在对齐，从而推断图像与文本之间的相似性，实验结果在 MS-COCO 和 Flickr30K 数据集上均表现为最先进的水平。

Mar, 2018

通过词区匹配实现图像-句子匹配, 本文提出了一种名为TERAN的新方法，在图像和句子的不同组件之间执行精细匹配，从而实现了跨模式检索，并在MS-COCO和Flickr30k数据集上获得了最先进的结果。

Aug, 2020

本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本-图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

Mar, 2021

本文提出了一种逐步分层对齐网络 (SHAN) 的图像 - 文本匹配方法，将图像 - 文本匹配分解成多步跨模态推理过程以捕捉层次化的细粒度相关性，并在两个基准数据集上进行了实验。

Jun, 2021

本文针对图文检索中的细粒度语义匹配问题，以MSCOCO-Test-5K和Flickr30K-Test-1K数据集不足的情况为背景，提出了将其重建为MSCOCO-FG和Flickr30K-FG等数据集的方法，并通过模型评估和实验指出了模型在细粒度语义理解方面的不足之处和提升空间。

Apr, 2023

本研究通过使用两种Transformer编码器架构来统一图像和文本之间的差异，提出了一种基于层次对齐Transformer的跨模态检索框架，通过多层次的对齐方案，对图像和文本进行了更好的交互和对齐，实验证明该框架优于其他SOTA基线，并在两个基准数据集上实现了显著的提升。

Aug, 2023

在这项工作中，我们在独立嵌入框架之上提出了一个图像-文本对齐模块SelfAlign，通过自监督对比学习在概念级和语境级强制进行图像-文本对齐，提高了检索准确性同时保持了检索效率。

Aug, 2023

使用多教师跨模态对齐蒸馏技术 (MCAD)，通过在双流模型中融合单流特征提高学生模型的检索性能，同时实现高效的图像-文本检索任务，降低模型大小和终端设备部署的复杂性。

Oct, 2023

通过降低非重要图片和文本片段的参与度，提高对重要片段的对齐相似性，本文介绍了一种新的跨模态突出片段增强对齐网络(CPFEAN)，该网络通过减少在对齐过程中无关区域的参与度并相对提高对齐的突出词，从而实现改进的检索准确性。与最先进的方法相比，在MS-COCO和Flickr30K数据集上进行了大量定量比较实验，结果显示本方法在rSum度量上的表现超过了现有方法约5%至10%。

Nov, 2023

图像-文本匹配仍然是一项具有挑战性的任务，由于模态之间异构的语义多样性和三元组内不足的距离可分性。与之前的方法不同，我们旨在通过增强聚类方法中的知识转移来寻求更强大的匹配模型。具体地说，我们提出了一种全新的深度增强学习（DBL）算法，其中锚点分支首先被训练以提供对数据属性的洞察，而目标分支获取更先进的知识以开发出最佳特征和距离度量。通过实验证实，我们的DBL能够在图像-文本匹配领域的各种最新先进模型的基础上取得令人印象深刻且一致的改进，并且优于相关的普遍合作策略，例如常规蒸馏、互联学习和对应学习。此外，我们证实DBL可以无缝集成到它们的训练场景中，并在相同的计算成本下实现卓越性能，从而展示了我们提出的方法的灵活性和广泛适用性。我们的代码可以在此https URL上公开获取。

Apr, 2024