Apr, 2018

视觉问答中的问题类型引导注意力机制

PDF
TL;DR本文提出了一个名为 Question Type-guided Attention (QTA) 的方法，利用问题类型信息动态平衡从 ResNet 和 Faster R-CNN 网络中分别提取的自下而上和自上而下的视觉特征。在 TDIUC 数据集上进行了多项输入实验，并显示 QTA 显著提高了多个问题类型类别的性能，例如 “活动识别”、“效用” 和 “计数”。添加 QTA 后，我们在最先进的 MCB 模型上实现了 3％的总体准确度提高。最后，我们提出了一个多任务扩展以预测问题类型，在缺少问题类型的应用程序中推广 QTA，性能损失最小。
visual question answeringquestion type-guided attentionresnetfaster r-cnntdiuc
发现论文，激发创造
  • 改进的视觉问答注意力机制

    本文提出了一种改进的基于注意力机制的架构，其中包括一个对注意力结果和查询进行关系确定的 AoA 模块，并提出了多模态融合模块来组合视觉和文本信息，结果在 VQA-v2 基准数据集上达到了最先进的性能。

    Nov, 2020

  • R-VQA: 通过语义关注学习视觉关系事实用于视觉问答

    通过构建 Relation-VQA 数据集，并采用新颖的多步注意力模型，该论文提出了一种更好地利用图像语义知识的视觉关系事实学习框架，从而在视觉问答任务中取得了最先进的性能。

    May, 2018

  • 面向视觉问答的聚焦动态注意力模型

    本文提出了一种基于 Focused Dynamic Attention 模型的视觉问答方法，该方法通过结合全局特征和重点区域信息，能够更好地处理细粒度信息和语言语义，进而提高了视觉问答的表现。

    Apr, 2016

  • 用于视频问答的结构化双流注意力网络

    本文提出了一种结构化的双流注意力网络（STA）来解决视频问答（VQA），该网络可以识别视频中的长时空结构和文本特征，并将视觉与文本融合以提供准确的答案，在大规模视频 QA 数据集 TGIF-QA 上实验表明，STA 可将 Action，Trans，TrameQA 和 Count 任务的最佳效果提高 13.0％，13.5％，11.0％和 0.3％，在 Action，Trans，TrameQA 任务上也比最佳竞争对手提高 4.1％，4.7％和 5.1％。

    Jun, 2022

  • 基于 POS 标记引导注意力的结构三元组学习用于视觉问答

    本文探索在 VQA 多项选择任务中设计有效的 VQA 模型的良好实践，并通过结构学习、POS 标签引导的注意力机制等手段构建视觉问答模型，评估结果在视觉 7W 和 VQA 多选数据集上取得了最好的 68.2% 和最竞争的 69.6% 的准确率。

    Jan, 2018

  • 注意力机制：视觉问答架构（VQA）

    通过开发十三种新的注意力机制和引入一种简化的分类器，基于首次在 VQA 挑战中获得第一名的模型进行改进，进行了 300 GPU 小时的大量超参数和架构搜索，我们能够实现 64.78％的评估分数，优于现有最先进的单个模型 63.15％的验证分数。

    Mar, 2018

  • 视觉问答中的聚焦视觉 - 文本注意力

    本文介绍了一种名为 FVTA 的新型神经网络，它利用一种分层的动态过程来确定要解答问题时需要关注的媒体和时间，可以回答问题并提供系统答案的理由。FVTA 在 MemexQA 数据集上达到了最先进的性能，MovieQA 数据集上获得了有竞争力的结果。

    Jun, 2018

  • 视觉问答的层次化问题 - 图像协同注意力

    通过建立视觉注意力和问题注意力相结合的协作注意力模型，使用新型一维卷积神经网络来在分层结构中处理问题，从而使 VQA 数据集上的性能从 60.3％提高到 60.5％，并且在 COCO-QA 数据集上从 61.6％提高到 63.3％。在加入 ResNet 模型后，VQA 指标进一步提升至 62.1%，COCO-QA 指标达到 65.4%。

    May, 2016

  • 问、看、答：探索基于问题引导的空间关注用于视觉问答

    该论文探讨了图像和语言理解的问题，提出了一种基于神经网络的空间记忆网络模型，通过注意力机制进行推理，并在两个视觉问答数据集上取得了改进的结果。

    Nov, 2015

  • 基于注意力模型的视觉问答算法分析

    本文批判性地审查和回顾了视觉问答算法的方法，例如文本语义的生成、物体的识别和采用共同关注的答案分类技术。

    May, 2023