IJCAIJul, 2019

基于位置关注网络的图像文本匹配

PDF
TL;DR本论文介绍了一种基于位置关注的注意网络（PFAN），以解决图像和文本匹配任务中精确度量视觉和文本内容相似性的跨域问题，通过引入对象位置线索和注意机制，增强了图像和文本的特征表达和可信关系，从而实现了三个数据集上的最先进性能水平，包括我们自己收集的实际大规模新闻数据集 Tencent-News 上的实际应用价值验证。
image-text matchingposition focused attention networkvisual-text joint-embedding learningobject position cluepractical application value
发现论文，激发创造
  • 聚焦注意力：一种双向焦点注意力网络用于图像 - 文本匹配

    提出了一种新颖的双向焦点注意力网络（BFAN），它不仅允许关注相关部分，而且将所有关注点都集中在这些相关部分上以消除无关的碎片，实现了图像与文本之间的语义对齐，表现出优越性能。

    Sep, 2019

  • 聚焦注意力：自然图像中准确的文本识别

    本文提出了一种名为 Focusing Attention Network 的方法，利用聚焦注意机制来消除针对复杂和 / 或低质量图像的 “注意力漂移” 现象，同时采用 ResNet-based 网络来丰富场景文本图像的深层表示，并在 IIIT5k、SVT 和 ICDAR 数据集上进行了实验，其结果表明 FAN 明显优于现有方法。

    Sep, 2017

  • 跨模态突出片段增强对齐网络：图像 - 文本检索

    通过降低非重要图片和文本片段的参与度，提高对重要片段的对齐相似性，本文介绍了一种新的跨模态突出片段增强对齐网络 (CPFEAN)，该网络通过减少在对齐过程中无关区域的参与度并相对提高对齐的突出词，从而实现改进的检索准确性。与最先进的方法相比，在 MS-COCO 和 Flickr30K 数据集上进行了大量定量比较实验，结果显示本方法在 rSum 度量上的表现超过了现有方法约 5% 至 10%。

    Nov, 2023

  • 图像文本匹配的交叉堆叠注意力

    本文研究图像文本匹配问题，提出了一种使用交叉注意力机制的方法来发现包括图像区域和句子单词在内的全部潜在对齐，从而推断图像与文本之间的相似性，实验结果在 MS-COCO 和 Flickr30K 数据集上均表现为最先进的水平。

    Mar, 2018

  • 单目深度预测的金字塔特征注意力网络

    通过引入金字塔特征注意网络（PFANet），以提升高级上下文特征和低级空间特征，进一步改善深度估计中的空间布局、边界模糊和物体表面不连续等问题，并通过采用不同尺度的双尺度通道注意模块（DCAM），并以空间金字塔注意模块（SPAM）作为低级特征图中多尺度详细信息的引导来利用视觉特征的空间关系。最后，引入了尺度不变梯度损失，以增加对深度不连续区域中错误的惩罚。实验结果表明，我们的方法在 KITTI 数据集上优于最先进的方法。

    Mar, 2024

  • 基于姿态引导的多粒度注意力网络用于基于文本的人物搜索

    该研究提出了一种基于文本描述搜索人物图像的方法，通过使用多层次的视觉内容对不同语义相关性的相关图像和描述进行匹配，其中包括了多粒度的视觉信息。在 CUHK-PEDES 数据集上进行的实验表明，该方法在 top-1 指标上比现有方法高出 15％。

    Sep, 2018

  • 利用偏序关系引导注意力进行图像字幕生成

    本文提出了一种引导式的注意力网络机制，将图像的空间特征、主题的高级信息以及生成的字幕的时间上下文嵌入到一个有序的嵌入空间中进行训练，采用成对的排序目标函数，该模型在 MSCOCO 数据集上表现出与众多最先进模型相媲美的竞争力。

    Apr, 2022

  • 双重关注网络用于多模态推理与匹配

    提出双重关注网络框架（Dual Attention Networks），应用于视觉和文本场景的多模态推理、比对任务，在 Visual Question Answering 和图片 - 文本比对任务中取得最新的优异表现。

    Nov, 2016

  • 使用图形注意力学习图像文本匹配的双重语义关系

    本文提出了一种名为双重语义关系注意力网络 (DSRAN) 的新型图注意力方法，该方法主要由两个模块组成，分别进行不同层次的语义关系学习，从而提高图像文本匹配的准确性，并在 MS-COCO 和 Flickr30K 数据集上取得了显著优于以往方法的效果。

    Oct, 2020

  • 视觉问答中的聚焦视觉 - 文本注意力

    本文介绍了一种名为 FVTA 的新型神经网络，它利用一种分层的动态过程来确定要解答问题时需要关注的媒体和时间，可以回答问题并提供系统答案的理由。FVTA 在 MemexQA 数据集上达到了最先进的性能，MovieQA 数据集上获得了有竞争力的结果。

    Jun, 2018