Nov, 2023

跨模态突出片段增强对齐网络：图像 - 文本检索

PDF
TL;DR通过降低非重要图片和文本片段的参与度，提高对重要片段的对齐相似性，本文介绍了一种新的跨模态突出片段增强对齐网络 (CPFEAN)，该网络通过减少在对齐过程中无关区域的参与度并相对提高对齐的突出词，从而实现改进的检索准确性。与最先进的方法相比，在 MS-COCO 和 Flickr30K 数据集上进行了大量定量比较实验，结果显示本方法在 rSum 度量上的表现超过了现有方法约 5% 至 10%。
image-text retrievalcross-modal alignmentprominent fragmentsretrieval accuracyalignment mechanism
发现论文，激发创造
  • 基于位置关注网络的图像文本匹配

    本论文介绍了一种基于位置关注的注意网络（PFAN），以解决图像和文本匹配任务中精确度量视觉和文本内容相似性的跨域问题，通过引入对象位置线索和注意机制，增强了图像和文本的特征表达和可信关系，从而实现了三个数据集上的最先进性能水平，包括我们自己收集的实际大规模新闻数据集 Tencent-News 上的实际应用价值验证。

    Jul, 2019

  • 聚焦注意力：一种双向焦点注意力网络用于图像 - 文本匹配

    提出了一种新颖的双向焦点注意力网络（BFAN），它不仅允许关注相关部分，而且将所有关注点都集中在这些相关部分上以消除无关的碎片，实现了图像与文本之间的语义对齐，表现出优越性能。

    Sep, 2019

  • 结构化的多模态特征嵌入和对齐 —— 面向图像 - 句子检索

    本文提出了一种新的结构化多模式特征嵌入与对齐模型（SMFEA）来增强图像 - 句子检索，通过构建视觉和文本片段之间的内在结构和外在交叉模态结构和语义对应关系，使用共享的上下文感知式引用树的新型多模式结构模块联合并显性地学习视觉 - 文本嵌入和跨模态对齐，将各自模态的片段处理为结构化树编码，通过最大化相应跨模态树节点之间的语义和结构相似性来首次实现了对齐方法的交叉模态结构和语义对应关系.

    Aug, 2021

  • CMFN: 跨模态融合网络用于不规则场景文字识别

    提出了一种新颖的交叉模态融合网络（CMFN），用于不规则场景文本识别，将视觉线索融入语义挖掘过程中，实验证明该算法在性能上与最先进的算法相当，验证了其有效性。

    Jan, 2024

  • 使用 Transformer 编码器进行跨模态检索的细粒度视觉文本对齐

    通过词区匹配实现图像 - 句子匹配，本文提出了一种名为 TERAN 的新方法，在图像和句子的不同组件之间执行精细匹配，从而实现了跨模式检索，并在 MS-COCO 和 Flickr30k 数据集上获得了最先进的结果。

    Aug, 2020

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021

  • 可学习的基于支柱的图像 - 文本重排序

    本文提出了一种新的可学习的基于框架的重新排序范式，该范式可以捕捉图片和文本之间的邻居关系，提高单模态检索任务的性能。实验结果表明，该范例具有很好的鲁棒性和推广性能力，并且可以在不同的基础模型上取得很好的效果。

    Apr, 2023

  • CAMP: 文本 - 图像检索的跨模态自适应消息传递

    本文提出了一种跨模态自适应信息传递模型（Cross-modal Adaptive Message Passing, CAMP），通过自适应地控制跨模态信息的流动，全面且精细地考虑跨模态交互，使用硬负样本二元交叉熵损失函数进行训练，在 COCO 和 Flickr30k 上显著超过最先进方法，显示出了我们方法的有效性。

    Sep, 2019

  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018