Nov, 2023

遥感视觉问答中的语言偏见诅咒：空间属性、语言多样性和明确评估的作用

PDF
TL;DR遥感视觉问答（RSVQA）是通过自然语言实现人机交互，利用航空图像为大众提供了新的机会。然而，RSVQA 中的语言偏见问题往往被忽视，而这会影响模型的健壮性并导致关于模型表现的错误结论。因此，本研究旨在通过视觉盲模型、对抗性测试和数据集分析三个方面来凸显 RSVQA 中的语言偏见问题，并提出更具信息量和互补性的评估指标，力求透明地传达未来 RSVQA 方法的结果。
remote sensing visual question answeringlanguage biasesanalysis strategydataset analysisevaluation metrics
发现论文，激发创造
  • 通过对抗训练克服遥感视觉问答中的语言偏见

    本研究提出了一种新的框架来减少 Visual Question Answering 系统中的语言偏差，具体地，在原 VQA 框架中添加了对抗分支和两个正则化器以限制训练过程中的语言偏差，并提出了一种新的性能度量方法来评估语言偏差，实验结果表明该方法简单有效。

    Jun, 2023

  • RSVQA：用于遥感数据的视觉问答

    本文介绍了一种利用自然语言提问并结合卷积神经网络（CNN）和循环神经网络（RNN）用于从遥感数据中提取高层信息的方法。使用 OpenStreetMap（OSM）查询，构建了两个包含图像 / 问题 / 答案三元组的数据集，并使用这些数据集培训和评估了模型，实现了遥感图像问答任务。

    Mar, 2020

  • 遥感图像中鲁棒性视觉问答的多语言增强

    本文提出了一种基于对抗学习的策略，使用增强的数据集来提高遥感视觉问题回答模型的鲁棒性，并在低分辨率数据集上取得良好的表现。

    Apr, 2023

  • 如何为遥感视觉问答寻找良好的图像 - 文本嵌入？

    该论文研究了三种不同的融合方法在远程遥感领域的视觉问答中的应用，并分析了与模型复杂度相关的精度提高。结果表明，采用更复杂的融合机制可以提高性能，但在实践中寻求模型复杂度和性能之间的平衡是值得的。

    Sep, 2021

  • LiT-4-RSVQA: 轻量级基于 Transformer 的遥感视觉问答

    本文提出了一种基于 Transformer 轻量级架构的遥感视觉问答方法，名为 LiT-4-RSVQA，旨在有效且准确地回答针对遥感图像的自然语言问题，实验结果表明本方法可以显著减少计算资源使用并提供准确的 VQA 结果。

    Jun, 2023

  • 远程感知中的视觉问答：跨注意力与多模态信息瓶颈

    本研究提出了一种基于跨注意力的信息最大化的方法，结合 CNN-LSTM，并在两个不同分辨率的 VQA 遥感数据集上评估表现，获得了较高的准确率。

    Jun, 2023

  • 强健的视觉问答：数据集，方法和未来挑战

    视觉问答研究需要系统能够根据图像和自然语言问题提供准确的自然语言答案。然而，先前的通用 VQA 方法普遍存在记忆训练数据中的偏见而不是学习正确行为（如在预测答案之前进行图像建立联系）。因此，这些方法通常在分布内获得高性能但在分布外获得低性能。最近几年，已经提出了各种数据集和去偏见方法来评估和增强 VQA 的稳健性。本文提供了关于这一新兴领域的首个综述，重点讨论视觉问答中的这些问题。具体来说，首先概述了数据集的发展过程，从分布内和分布外的角度进行了分析。然后，研究了这些数据集使用的评估指标。第三，提出了一种类型学，介绍了现有去偏见方法的发展过程、相似之处与差异、稳健性比较和技术特征。此外，分析和讨论了 VQA 中代表性视觉与语言预训练模型的稳健性。最后，通过对现有文献的彻底审查和实验分析，从各个角度探讨了未来研究的关键领域。

    Jul, 2023

  • 遥感中的视觉问答多模态融合变压器

    该文提出了一种多模态变压器架构，名为 VBFusion，用于弥补当前 VQA 系统融合模态间表示不足的问题，并通过对 Sentinel-2 图像进行多波段的研究使得其具备更强的描述远程感应图像内容的能力。

    Oct, 2022

  • VRSBench：用于遥感图像理解的通用视觉语言基准数据集

    我们引入了一个新的基准，旨在推进远程感知图像的通用、大规模的视觉语言模型的发展。

    Jun, 2024

  • RSGPT：遥感视觉语言模型与基准

    大规模语言模型的出现显著推动了人工智能的快速发展，并引发了人工智能 2.0 的革命。远程感知领域对于开发专门针对数据分析的大规模视觉语言模型越来越感兴趣。然而，目前的研究主要集中在视觉识别任务上，缺乏对齐并适用于训练大规模视觉语言模型的全面、大规模图像 - 文本数据集，这对于有效训练此类模型构成了重大挑战。本研究构建了一个高质量的远程感知图像字幕数据集（RSICap），用于促进 RS 领域大规模视觉语言模型的发展。与以往通过模型生成的字幕或简短描述的数据集不同，RSICap 包括 2,585 个人工注释的字幕，具备丰富和高质量的信息。该数据集为每个图像提供了详细的描述，包括场景描述（例如居住区、机场或农田）以及对象信息（例如颜色、形状、数量、绝对位置等）。为了促进在 RS 领域中对视觉语言模型的评估，我们还提供了一个基准评估数据集 RSIEval，它包括人工注释的字幕和视觉问答对，可以全面评估在 RS 背景下的视觉语言模型。

    Jul, 2023