MMSep, 2019

聚焦注意力：一种双向焦点注意力网络用于图像 - 文本匹配

PDF
TL;DR提出了一种新颖的双向焦点注意力网络（BFAN），它不仅允许关注相关部分，而且将所有关注点都集中在这些相关部分上以消除无关的碎片，实现了图像与文本之间的语义对齐，表现出优越性能。
semantic correspondenceimagetextbidirectional focal attention networkattention
发现论文，激发创造
  • 基于位置关注网络的图像文本匹配

    本论文介绍了一种基于位置关注的注意网络（PFAN），以解决图像和文本匹配任务中精确度量视觉和文本内容相似性的跨域问题，通过引入对象位置线索和注意机制，增强了图像和文本的特征表达和可信关系，从而实现了三个数据集上的最先进性能水平，包括我们自己收集的实际大规模新闻数据集 Tencent-News 上的实际应用价值验证。

    Jul, 2019

  • 聚焦注意力：自然图像中准确的文本识别

    本文提出了一种名为 Focusing Attention Network 的方法，利用聚焦注意机制来消除针对复杂和 / 或低质量图像的 “注意力漂移” 现象，同时采用 ResNet-based 网络来丰富场景文本图像的深层表示，并在 IIIT5k、SVT 和 ICDAR 数据集上进行了实验，其结果表明 FAN 明显优于现有方法。

    Sep, 2017

  • 使用图形注意力学习图像文本匹配的双重语义关系

    本文提出了一种名为双重语义关系注意力网络 (DSRAN) 的新型图注意力方法，该方法主要由两个模块组成，分别进行不同层次的语义关系学习，从而提高图像文本匹配的准确性，并在 MS-COCO 和 Flickr30K 数据集上取得了显著优于以往方法的效果。

    Oct, 2020

  • 双重关注网络用于多模态推理与匹配

    提出双重关注网络框架（Dual Attention Networks），应用于视觉和文本场景的多模态推理、比对任务，在 Visual Question Answering 和图片 - 文本比对任务中取得最新的优异表现。

    Nov, 2016

  • 跨模态突出片段增强对齐网络：图像 - 文本检索

    通过降低非重要图片和文本片段的参与度，提高对重要片段的对齐相似性，本文介绍了一种新的跨模态突出片段增强对齐网络 (CPFEAN)，该网络通过减少在对齐过程中无关区域的参与度并相对提高对齐的突出词，从而实现改进的检索准确性。与最先进的方法相比，在 MS-COCO 和 Flickr30K 数据集上进行了大量定量比较实验，结果显示本方法在 rSum 度量上的表现超过了现有方法约 5% 至 10%。

    Nov, 2023

  • 基于显著性引导的图像 - 句子匹配注意力网络

    该研究旨在探讨图像和句子之间的匹配问题，提出了一种 Saliency-guided Attention Network 架构，包括视觉注意力和文本注意力模块，能够有效地提高多模态数据表示的准确性，并在 Flickr30K 和 MSCOCO 数据集上取得了大幅度的提升。

    Apr, 2019

  • 视觉问答中的聚焦视觉 - 文本注意力

    本文介绍了一种名为 FVTA 的新型神经网络，它利用一种分层的动态过程来确定要解答问题时需要关注的媒体和时间，可以回答问题并提供系统答案的理由。FVTA 在 MemexQA 数据集上达到了最先进的性能，MovieQA 数据集上获得了有竞争力的结果。

    Jun, 2018

  • 基于逐层分步对齐的图像 - 文本匹配网络

    本文提出了一种逐步分层对齐网络 (SHAN) 的图像 - 文本匹配方法，将图像 - 文本匹配分解成多步跨模态推理过程以捕捉层次化的细粒度相关性，并在两个基准数据集上进行了实验。

    Jun, 2021

  • FANet：一种反馈注意力网络，用于改进生物医学图像分割

    在生物医学图像分析领域，我们提出了一种称为反馈关注网络（FANet）的新型架构，利用每个训练时期的信息来修剪随后的预测地图，该网络在不同的卷积层上允许学习特征图的 “硬关注”，通过七个公开的生物医学成像数据集测试，显示出较大的平均分割指标提高。

    Mar, 2021

  • 语义关注下的图像字幕生成

    本文提出了一种融合上下文语境的自动图像描述算法，通过自下而上的计算和语义关注的上下文交互作用，成功在 Microsoft COCO 和 Flickr30K 两个公开基准测试中取得了明显的优于现有算法的结果。

    Mar, 2016