MMFeb, 2021

用正确的图像区域回答问题：一种视觉关注正则化方法

PDF
TL;DR本文提出一种名为 AttReg 的视觉关注正则化方法，用于更好地在 VQA 中进行视觉基础。AttReg 首先确定对于问题回答而言关键的图像区域，然后利用基于掩蔽的学习方案来规范化视觉关注，使其更专注于这些被忽略的关键区域。在三个基准数据集上的广泛实验证明，AttReg 的有效性，此外，在将 AttReg 整合到强大的基线 LMH 中时，我们的方法在 VQA-CP v2 基准数据集上实现了 60.00％的新最高准确度，与具有绝对性能增益的 7.01％。
发现论文，激发创造
  • 视觉问答的焦点区域：何处寻找

    本文提出一种方法，通过选择与基于文本的查询相关的图像区域来学习回答视觉问题。该方法在回答 ' 什么颜色 ' 等需要评估特定位置以及 ' 什么房间 ' 等需要选择性地识别信息图像区域的问题方面展示出显著的提升。我们的模型在 VQA 数据集上进行测试，这是目前为止最大的人工注释视觉问题回答数据集。

    Nov, 2015

  • 视觉问答的结构型注意力

    本文提出通过构建基于网格结构条件随机场上的多变量分布的视觉注意力模型来有效地编码复杂的跨区域关系，并将迭代推理算法转换成端到端的神经网络层，该模型在 3 个数据集上的实验评估结果表明，它超过了新发布的 CLEVR 数据集的最佳基线模型 9.5％，并超过了 VQA 数据集上最佳发布模型 1.25％。

    Aug, 2017

  • 视觉问答中的人类注意力：人类和深度网络是否注视相同的区域？

    我们设计了多个游戏化的新颖注意力注释界面，要求对象放大模糊图像的区域以回答有关图像的问题，进而在 Visual Question Answering（VQA）中进行了大规模的人类注意力研究，引入了 VQA-HAT（Human Attention）数据库集合，将最先进的 VQA 模型生成的注释地图与人类注意力进行了定性（通过可视化）和定量（通过等级相关性）的评估，总体而言，我们的实验表明，目前 VQA 中的注意力模型似乎没有关注与人类相同的区域。

    Jun, 2016

  • 视觉问答的层次化问题 - 图像协同注意力

    通过建立视觉注意力和问题注意力相结合的协作注意力模型，使用新型一维卷积神经网络来在分层结构中处理问题，从而使 VQA 数据集上的性能从 60.3％提高到 60.5％，并且在 COCO-QA 数据集上从 61.6％提高到 63.3％。在加入 ResNet 模型后，VQA 指标进一步提升至 62.1%，COCO-QA 指标达到 65.4%。

    May, 2016

  • 基于注意力模型的视觉问答算法分析

    本文批判性地审查和回顾了视觉问答算法的方法，例如文本语义的生成、物体的识别和采用共同关注的答案分类技术。

    May, 2023

  • 改进的视觉问答注意力机制

    本文提出了一种改进的基于注意力机制的架构，其中包括一个对注意力结果和查询进行关系确定的 AoA 模块，并提出了多模态融合模块来组合视觉和文本信息，结果在 VQA-v2 基准数据集上达到了最先进的性能。

    Nov, 2020

  • 面向视觉问答的聚焦动态注意力模型

    本文提出了一种基于 Focused Dynamic Attention 模型的视觉问答方法，该方法通过结合全局特征和重点区域信息，能够更好地处理细粒度信息和语言语义，进而提高了视觉问答的表现。

    Apr, 2016

  • 多模态乘积特征嵌入共同关注自由形式区域和检测用于视觉问答

    本篇研究提出了一种基于注意力机制和深度神经网络的视觉问答方法，通过多模态特征嵌入策略，联合关注自由区域和检测框区域，实现更准确的图像问答。在 COCO-QA 和 VQA 数据集上测试，结果表明该方法优于现有方法。

    Nov, 2017

  • 问、看、答：探索基于问题引导的空间关注用于视觉问答

    该论文探讨了图像和语言理解的问题，提出了一种基于神经网络的空间记忆网络模型，通过注意力机制进行推理，并在两个视觉问答数据集上取得了改进的结果。

    Nov, 2015

  • 基于注意力监控挖掘的视觉驻留解释性视觉问答

    本文展示了使用可用的区域描述和物体注释自动获取定位监督来有效地训练具有基于解释性的可视化问题回答 (VQA) 模型，并呈现了我们的模型的训练效果，表明其生成的视觉定位效果与手动注释的效果更接近，同时实现了最先进的 VQA 准确性。

    Aug, 2018