NIPSMay, 2016

视觉问答的层次化问题 - 图像协同注意力

PDF
TL;DR通过建立视觉注意力和问题注意力相结合的协作注意力模型，使用新型一维卷积神经网络来在分层结构中处理问题，从而使 VQA 数据集上的性能从 60.3％提高到 60.5％，并且在 COCO-QA 数据集上从 61.6％提高到 63.3％。在加入 ResNet 模型后，VQA 指标进一步提升至 62.1%，COCO-QA 指标达到 65.4%。
visual question answeringattention modelco-attentionhierarchical modelperformance improvement
发现论文，激发创造
  • 问、看、答：探索基于问题引导的空间关注用于视觉问答

    该论文探讨了图像和语言理解的问题，提出了一种基于神经网络的空间记忆网络模型，通过注意力机制进行推理，并在两个视觉问答数据集上取得了改进的结果。

    Nov, 2015

  • ABC-CNN: 基于注意力的卷积神经网络用于视觉问答

    本研究提出一种注意力机制的卷积神经网络，可用于解决视觉问答任务，有效提升已有方法的准确率，并生成与问题相关的关注区域。

    Nov, 2015

  • 改进的视觉问答注意力机制

    本文提出了一种改进的基于注意力机制的架构，其中包括一个对注意力结果和查询进行关系确定的 AoA 模块，并提出了多模态融合模块来组合视觉和文本信息，结果在 VQA-v2 基准数据集上达到了最先进的性能。

    Nov, 2020

  • 通过密集对称共同注意力改进视觉与语言表示的融合用于视觉问答

    本文提出了一种基于多步交互和注意力机制的简单且完全对称的网络结构方案，用于解决视觉问答中视觉和语言特征的融合问题，并取得了新的最优结果，而提出的注意力机制也能够生成合理的注意力图从而正确预测答案。

    Apr, 2018

  • 基于注意力模型的视觉问答算法分析

    本文批判性地审查和回顾了视觉问答算法的方法，例如文本语义的生成、物体的识别和采用共同关注的答案分类技术。

    May, 2023

  • 用于视觉问答的高阶注意力模型

    本文提出了一种新颖且通用的注意力机制，可以学习不同数据模态之间的高阶相关性。 作者实验证明高阶相关性可以将适当的关注点引导到不同数据模态中的相关元素，来更好地解决联合任务，如视觉问答（VQA），在 VQA 标准数据集上实现了最先进的性能。

    Nov, 2017

  • 视觉问答的互注意融合

    该研究提出了一种新的注意力机制，同时考虑视觉细节的两个层次，即物体实例和它们的部分，通过高效的张量分解方案，设计了分层融合多模态信息的模型并提高了已有模型达到了一个显著的提升。

    May, 2018

  • 注意力机制：视觉问答架构（VQA）

    通过开发十三种新的注意力机制和引入一种简化的分类器，基于首次在 VQA 挑战中获得第一名的模型进行改进，进行了 300 GPU 小时的大量超参数和架构搜索，我们能够实现 64.78％的评估分数，优于现有最先进的单个模型 63.15％的验证分数。

    Mar, 2018

  • 视觉问答的结构型注意力

    本文提出通过构建基于网格结构条件随机场上的多变量分布的视觉注意力模型来有效地编码复杂的跨区域关系，并将迭代推理算法转换成端到端的神经网络层，该模型在 3 个数据集上的实验评估结果表明，它超过了新发布的 CLEVR 数据集的最佳基线模型 9.5％，并超过了 VQA 数据集上最佳发布模型 1.25％。

    Aug, 2017

  • 视觉问答中的问题类型引导注意力机制

    本文提出了一个名为 Question Type-guided Attention (QTA) 的方法，利用问题类型信息动态平衡从 ResNet 和 Faster R-CNN 网络中分别提取的自下而上和自上而下的视觉特征。在 TDIUC 数据集上进行了多项输入实验，并显示 QTA 显著提高了多个问题类型类别的性能，例如 “活动识别”、“效用” 和 “计数”。添加 QTA 后，我们在最先进的 MCB 模型上实现了 3％的总体准确度提高。最后，我们提出了一个多任务扩展以预测问题类型，在缺少问题类型的应用程序中推广 QTA，性能损失最小。

    Apr, 2018