Nov, 2015

用于图像问答的叠加注意力网络

PDF
TL;DR本文提出了堆叠式注意力网络（SAN），通过自然语言问题分析图像，发现图像问答需要多层推理，于是我们开发了多层 SAN，通过可视化的注意力层，逐层推理以定位答案相关的视觉线索，实验证明 SAN 明显优于先前的最先进方法。
sansnatural language questionsimage question answeringattention layersvisual clues
发现论文，激发创造
  • 问、看、答：探索基于问题引导的空间关注用于视觉问答

    该论文探讨了图像和语言理解的问题，提出了一种基于神经网络的空间记忆网络模型，通过注意力机制进行推理，并在两个视觉问答数据集上取得了改进的结果。

    Nov, 2015

  • 卷积自注意力网络

    本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

    Apr, 2019

  • 使用卷积神经网络从图像中学习答案

    本文提出使用卷积神经网络 (CNN) 解决图像问答 (QA) 问题，通过三个 CNN 模型来提升图像和问题共同表示的分类能力。经过 DAQUAR 和 COCO-QA 两个基准测试集的测试，本文的模型表现显著优于现有的最优解。

    Jun, 2015

  • 自然语言推理的随机回答网络

    本文提出了一种随机答案网络（SAN）来研究自然语言推理中的多步推理策略，并通过实验表明 SAN 在三个基准测试中均取得了最先进的结果，包括斯坦福自然语言推理（SNLI）数据集，多样化自然语言推理（MultiNLI）数据集和 Quora 问题对数据集。

    Apr, 2018

  • 视觉问答的层次化问题 - 图像协同注意力

    通过建立视觉注意力和问题注意力相结合的协作注意力模型，使用新型一维卷积神经网络来在分层结构中处理问题，从而使 VQA 数据集上的性能从 60.3％提高到 60.5％，并且在 COCO-QA 数据集上从 61.6％提高到 63.3％。在加入 ResNet 模型后，VQA 指标进一步提升至 62.1%，COCO-QA 指标达到 65.4%。

    May, 2016

  • ABC-CNN: 基于注意力的卷积神经网络用于视觉问答

    本研究提出一种注意力机制的卷积神经网络，可用于解决视觉问答任务，有效提升已有方法的准确率，并生成与问题相关的关注区域。

    Nov, 2015

  • SQuAD 2.0 的随机答案网络

    该论文介绍了一种扩展的 Stochastic Answer Network 模型，添加了一个判断问题是否无法回答的二元分类器和句子定位模块，并通过实验证明其在 Stanford Question Answering Dataset (SQuAD) 2.0 数据集上具有与最先进模型相当的效果。

    Sep, 2018

  • 多模态视频问答的情感转移注意力网络

    该论文提出了一种称为模态转移关注网络的模型解决多模式视频问答任务，该模型对任务进行任务分解并使用时间提议网络和异构推理网络进行处理，通过模态转移进行任务的执行，这种模型在 TVQA 基准数据集上的实验结果表明它优于之前的最优性能，达到 71.13％的测试准确率，并开展了广泛的消融研究和定性分析以验证网络的各个组件。

    Jul, 2020

  • 基于显著性引导的图像 - 句子匹配注意力网络

    该研究旨在探讨图像和句子之间的匹配问题，提出了一种 Saliency-guided Attention Network 架构，包括视觉注意力和文本注意力模块，能够有效地提高多模态数据表示的准确性，并在 Flickr30K 和 MSCOCO 数据集上取得了大幅度的提升。

    Apr, 2019

  • 语义分割的压缩注意力网络

    本文提出了一种新颖的挤压和注意力（SA）模块，结合传统卷积实现像素组关注和像素级预测，最终通过融合四个层次的 SANet 的输出来集成多尺度的上下文信息，从而实现了在 PASCAL VOC 和 PASCAL 上的语义分割任务中表现出色。

    Sep, 2019