Jun, 2023

远程感知中的视觉问答：跨注意力与多模态信息瓶颈

PDF
TL;DR本研究提出了一种基于跨注意力的信息最大化的方法，结合 CNN-LSTM，并在两个不同分辨率的 VQA 遥感数据集上评估表现，获得了较高的准确率。
visual question answeringremote sensingcross attentioncnn-lstminformation maximization
发现论文，激发创造
  • 如何为遥感视觉问答寻找良好的图像 - 文本嵌入？

    该论文研究了三种不同的融合方法在远程遥感领域的视觉问答中的应用，并分析了与模型复杂度相关的精度提高。结果表明，采用更复杂的融合机制可以提高性能，但在实践中寻求模型复杂度和性能之间的平衡是值得的。

    Sep, 2021

  • RSVQA：用于遥感数据的视觉问答

    本文介绍了一种利用自然语言提问并结合卷积神经网络（CNN）和循环神经网络（RNN）用于从遥感数据中提取高层信息的方法。使用 OpenStreetMap（OSM）查询，构建了两个包含图像 / 问题 / 答案三元组的数据集，并使用这些数据集培训和评估了模型，实现了遥感图像问答任务。

    Mar, 2020

  • 遥感中的视觉问答多模态融合变压器

    该文提出了一种多模态变压器架构，名为 VBFusion，用于弥补当前 VQA 系统融合模态间表示不足的问题，并通过对 Sentinel-2 图像进行多波段的研究使得其具备更强的描述远程感应图像内容的能力。

    Oct, 2022

  • 视觉问答作为阅读理解

    本研究提出了一种基于机器阅读理解的方法，通过将视觉和文本特征统一到自然语言中以解决视觉问答中的多模态特征融合问题，并能够处理大规模外部知识库等基于知识的问题。实验结果表明，该方法在三个数据集上性能具有可比性，此为利用文本和自然语言处理技术解决视觉问答问题的一步。

    Nov, 2018

  • 改进的视觉问答注意力机制

    本文提出了一种改进的基于注意力机制的架构，其中包括一个对注意力结果和查询进行关系确定的 AoA 模块，并提出了多模态融合模块来组合视觉和文本信息，结果在 VQA-v2 基准数据集上达到了最先进的性能。

    Nov, 2020

  • 通过密集对称共同注意力改进视觉与语言表示的融合用于视觉问答

    本文提出了一种基于多步交互和注意力机制的简单且完全对称的网络结构方案，用于解决视觉问答中视觉和语言特征的融合问题，并取得了新的最优结果，而提出的注意力机制也能够生成合理的注意力图从而正确预测答案。

    Apr, 2018

  • 视觉问答的层次化问题 - 图像协同注意力

    通过建立视觉注意力和问题注意力相结合的协作注意力模型，使用新型一维卷积神经网络来在分层结构中处理问题，从而使 VQA 数据集上的性能从 60.3％提高到 60.5％，并且在 COCO-QA 数据集上从 61.6％提高到 63.3％。在加入 ResNet 模型后，VQA 指标进一步提升至 62.1%，COCO-QA 指标达到 65.4%。

    May, 2016

  • 问、看、答：探索基于问题引导的空间关注用于视觉问答

    该论文探讨了图像和语言理解的问题，提出了一种基于神经网络的空间记忆网络模型，通过注意力机制进行推理，并在两个视觉问答数据集上取得了改进的结果。

    Nov, 2015

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 从图像到语言：对视觉问答（VQA）方法、挑战和机遇的关键分析

    通过调查 Visual Question Answering（视觉问题回答）领域的复杂性，本研究提供了对 VQA 数据集和方法的详细分类，展示了该领域的最新趋势、挑战和改进方向，并将 VQA 推广到多模态问答，探索与 VQA 相关的任务，并提出了一系列未来研究的开放性问题。

    Nov, 2023