ACLSep, 2021

如何为遥感视觉问答寻找良好的图像 - 文本嵌入？

PDF
TL;DR该论文研究了三种不同的融合方法在远程遥感领域的视觉问答中的应用，并分析了与模型复杂度相关的精度提高。结果表明，采用更复杂的融合机制可以提高性能，但在实践中寻求模型复杂度和性能之间的平衡是值得的。
visual question answeringremote sensingcomputer visionnatural language processingfusion methodology
发现论文，激发创造
  • 遥感中的视觉问答多模态融合变压器

    该文提出了一种多模态变压器架构，名为 VBFusion，用于弥补当前 VQA 系统融合模态间表示不足的问题，并通过对 Sentinel-2 图像进行多波段的研究使得其具备更强的描述远程感应图像内容的能力。

    Oct, 2022

  • 视觉问答作为阅读理解

    本研究提出了一种基于机器阅读理解的方法，通过将视觉和文本特征统一到自然语言中以解决视觉问答中的多模态特征融合问题，并能够处理大规模外部知识库等基于知识的问题。实验结果表明，该方法在三个数据集上性能具有可比性，此为利用文本和自然语言处理技术解决视觉问答问题的一步。

    Nov, 2018

  • 远程感知中的视觉问答：跨注意力与多模态信息瓶颈

    本研究提出了一种基于跨注意力的信息最大化的方法，结合 CNN-LSTM，并在两个不同分辨率的 VQA 遥感数据集上评估表现，获得了较高的准确率。

    Jun, 2023

  • RSVQA：用于遥感数据的视觉问答

    本文介绍了一种利用自然语言提问并结合卷积神经网络（CNN）和循环神经网络（RNN）用于从遥感数据中提取高层信息的方法。使用 OpenStreetMap（OSM）查询，构建了两个包含图像 / 问题 / 答案三元组的数据集，并使用这些数据集培训和评估了模型，实现了遥感图像问答任务。

    Mar, 2020

  • 视觉问答最近进展综述

    该论文综述了不同方法来解决视觉问答的问题，特别是描述了各种算法提取图像特征和文本特征的方法，并讨论了评估 VQA 模型的实验，并报告了它们在各种数据集上的表现。

    Sep, 2017

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • R-VQA: 通过语义关注学习视觉关系事实用于视觉问答

    通过构建 Relation-VQA 数据集，并采用新颖的多步注意力模型，该论文提出了一种更好地利用图像语义知识的视觉关系事实学习框架，从而在视觉问答任务中取得了最先进的性能。

    May, 2018

  • 利用视觉问答进行图像字幕排名

    本研究将视觉问题回答任务视为 “特征提取” 模块，提取图像和标题的表征，以此为基础对图像 - 标题进行排序并提出融合模型提高图像 - 标题匹配一致性的表现。实验发现，该模型在 MSCOCO 数据集上的字幕检索提高了 7.1％，图像提取提高了 4.4％。

    May, 2016

  • LiT-4-RSVQA: 轻量级基于 Transformer 的遥感视觉问答

    本文提出了一种基于 Transformer 轻量级架构的遥感视觉问答方法，名为 LiT-4-RSVQA，旨在有效且准确地回答针对遥感图像的自然语言问题，实验结果表明本方法可以显著减少计算资源使用并提供准确的 VQA 结果。

    Jun, 2023

  • 使用深度学习的视觉问答：调查和性能分析

    本篇综述介绍了视觉问答（VQA）任务，包括基于自然语言描述的图像识别以及机器学习模型的研究，主要探讨了近期在该领域中公布的数据集、新的深度学习模型以及基于 VQA 模型的一些应用研究和挑战。

    Aug, 2019