Apr, 2019

基于显著性引导的图像 - 句子匹配注意力网络

PDF
TL;DR该研究旨在探讨图像和句子之间的匹配问题，提出了一种 Saliency-guided Attention Network 架构，包括视觉注意力和文本注意力模块，能够有效地提高多模态数据表示的准确性，并在 Flickr30K 和 MSCOCO 数据集上取得了大幅度的提升。
image-sentence matchingmulti-modal datasaliency-guided attention networkvisual attentiontextual attention
发现论文，激发创造
  • 基于显著性引导的自注意力网络用于弱监督和半监督语义分割

    该论文提出一种基于自注视网络和显著性先验的半监督语义分割模型，能够准确地定位并分割图像区域，且在 PASCAL VOC 2012 上的表现优于目前所有其他先进方法。

    Oct, 2019

  • 聚焦注意力：一种双向焦点注意力网络用于图像 - 文本匹配

    提出了一种新颖的双向焦点注意力网络（BFAN），它不仅允许关注相关部分，而且将所有关注点都集中在这些相关部分上以消除无关的碎片，实现了图像与文本之间的语义对齐，表现出优越性能。

    Sep, 2019

  • 使用图形注意力学习图像文本匹配的双重语义关系

    本文提出了一种名为双重语义关系注意力网络 (DSRAN) 的新型图注意力方法，该方法主要由两个模块组成，分别进行不同层次的语义关系学习，从而提高图像文本匹配的准确性，并在 MS-COCO 和 Flickr30K 数据集上取得了显著优于以往方法的效果。

    Oct, 2020

  • 用于图像问答的叠加注意力网络

    本文提出了堆叠式注意力网络（SAN），通过自然语言问题分析图像，发现图像问答需要多层推理，于是我们开发了多层 SAN，通过可视化的注意力层，逐层推理以定位答案相关的视觉线索，实验证明 SAN 明显优于先前的最先进方法。

    Nov, 2015

  • SGBANet：用于任意方向场景文本识别的语义 GAN 和平衡注意力网络

    本文提出一种新的场景文本识别方法，采用基于语义的生成对抗网络和平衡注意力网络相结合的方法，通过支持域和目标域之间的语义特征对齐，以及应用注意力平衡模块来解决注意力漂移问题，实现对文本图像的准确识别。

    Jul, 2022

  • 基于标题引导的自上而下视觉显著性

    本文提出了基于标题引导的视觉显著性方法，通过训练数据隐式的学习到现代编码器解码器网络中的区域到单词的映射，而不引入显式的注意力层，从而分析各种现有模型结构，并提供更准确的显著性热图。

    Dec, 2016

  • SANVis：用于理解自注意力网络的视觉分析

    本文介绍了一种名为 SANVis 的可视化分析系统，旨在帮助用户理解多头自我注意力网络的行为和特征，其中通过 Transformer 模型的使用展示了 SANVis 在机器翻译任务中的使用场景。

    Sep, 2019

  • 语义分割的压缩注意力网络

    本文提出了一种新颖的挤压和注意力（SA）模块，结合传统卷积实现像素组关注和像素级预测，最终通过融合四个层次的 SANet 的输出来集成多尺度的上下文信息，从而实现了在 PASCAL VOC 和 PASCAL 上的语义分割任务中表现出色。

    Sep, 2019

  • 图像文本匹配的交叉堆叠注意力

    本文研究图像文本匹配问题，提出了一种使用交叉注意力机制的方法来发现包括图像区域和句子单词在内的全部潜在对齐，从而推断图像与文本之间的相似性，实验结果在 MS-COCO 和 Flickr30K 数据集上均表现为最先进的水平。

    Mar, 2018

  • 文本引导对视觉注意力的影响：数据库与模型

    本文从主观和客观的角度对文本引导下的图像显著性进行广泛研究，并提出了一种考虑文本影响的文本引导显著性预测模型，该模型在各种评估指标上明显优于现有的显著性模型。

    Apr, 2024