ECCVMar, 2018

图像文本匹配的交叉堆叠注意力

PDF
TL;DR本文研究图像文本匹配问题，提出了一种使用交叉注意力机制的方法来发现包括图像区域和句子单词在内的全部潜在对齐，从而推断图像与文本之间的相似性，实验结果在 MS-COCO 和 Flickr30K 数据集上均表现为最先进的水平。
image-text matchinglatent semantic alignmentstacked cross attentionstate-of-the-art resultsms-coco and flickr30k datasets
发现论文，激发创造
  • 具有潜在共同关注的身份感知文本 - 视觉匹配

    本文提出了一个基于身份感知的两阶段框架，通过新颖的 CMCE 损失函数和潜在的共同注意机制来提高文本 - 视觉匹配的准确性，实验证明其相对于先前的最先进方法取得了显著的性能改进。

    Aug, 2017

  • 图像 - 文本匹配的视觉语义推理

    我们提出了一种简单而易于解释的推理模型，用于生成全局场景的主要对象和语义概念的可视化表示，该模型使用图卷积网络进行关联和推理，再使用门和记忆机制进行全局语义推理，选取判别信息并逐渐生成整个场景的表示；实验证明我们的方法在 MS-COCO 和 Flickr30K 数据集上取得了相对于最佳方法分别为 6.8％和 4.8％的图像检索和字幕检索的新的最佳效果，Flickr30K 数据集上分别提高了 12.6％和 5.8％的图像检索和字幕检索。

    Sep, 2019

  • 使用图形注意力学习图像文本匹配的双重语义关系

    本文提出了一种名为双重语义关系注意力网络 (DSRAN) 的新型图注意力方法，该方法主要由两个模块组成，分别进行不同层次的语义关系学习，从而提高图像文本匹配的准确性，并在 MS-COCO 和 Flickr30K 数据集上取得了显著优于以往方法的效果。

    Oct, 2020

  • 基于区域注意力和场景分解的图像字幕定位与描述对齐

    本文提出了一种使用平行结构、利用图像和句子之间的相似性及上下文信息生成图像描述的方法，将视觉感知与文本描述相结合，使用场景特定的上下文信息对句子中的词语生成进行调整，在多个流行数据集上的实验表明本方法在生成精准、丰富的图像描述方面表现优异。

    Jun, 2015

  • 跨媒体语言 - 视频注意力 X-Pool 在文本 - 视频检索中的应用

    提出了一种名为 X-Pool 的跨模态注意力模型，用于在文本和视频之间进行推理，从而提取重要的视觉线索。通过使用一个标度点乘的注意力机制，允许文本关注其最语义相似的帧，并生成基于文本的帧的注意力权重的聚合视频表示。在 MSR-VTT、MSVD 和 LSMDC 三个基准数据集上进行评估，实现了相对提高 Recall@1 高达 12% 的新的最佳效果。

    Mar, 2022

  • 多视角关注的图像文本匹配

    提出了一个针对两流图像 - 文本匹配的多视图注意力方法（MVAM），通过多样的注意头学习多个图像和文本表示，并将这些表示连接起来进行匹配，以实现更好的匹配性能和更全面的表示。

    Feb, 2024

  • CAMP: 文本 - 图像检索的跨模态自适应消息传递

    本文提出了一种跨模态自适应信息传递模型（Cross-modal Adaptive Message Passing, CAMP），通过自适应地控制跨模态信息的流动，全面且精细地考虑跨模态交互，使用硬负样本二元交叉熵损失函数进行训练，在 COCO 和 Flickr30k 上显著超过最先进方法，显示出了我们方法的有效性。

    Sep, 2019

  • Stack-VS: 堆叠型视觉语义注意力机制用于图像描述生成

    提出了一个基于多阶段架构的模型 (Stack-VS)，与底层 (top-down) 和高层 (bottom-up) 注意力模型结合来生成优质图片标题。使用 LSTM 解码器单元在可视层级和语义层级信息上重定义关注权重，并在 MSCOCO 基准测试中取得了显著的提高。

    Sep, 2019

  • 探索和提取跨模态信息以用于图像字幕生成

    本研究提出基于 Transformer 的全局与局部信息探索与提炼方法，在跨模态视角下探究图像字幕生成，并在 COCO 测试集上取得了 129.3 的 CIDEr 分数。

    Feb, 2020

  • 视觉 - 文本交叉对齐：在视觉 - 语言模型中优化相似度评分

    使用预训练的视觉 - 语言模型对查询图像和细致的文本描述进行对齐可以显著增强零样本性能，因此我们提出了一种加权视觉 - 文本交叉对齐（WCA）方法，该方法通过局部视觉提示技术确定查询图像中的局部视觉区域，并通过创建基于预训练视觉 - 语言模型的相似性矩阵将这些局部视觉区域与细致的描述进行对齐，然后根据此矩阵中的加权相似度开发了一个评分函数来确定查询图像与每个类别的对齐情况，实验证明我们的方法显著提高了零样本性能，结果甚至可以与少样本学习方法相媲美。

    Jun, 2024