Oct, 2022

遥感中的视觉问答多模态融合变压器

PDF
TL;DR该文提出了一种多模态变压器架构，名为 VBFusion，用于弥补当前 VQA 系统融合模态间表示不足的问题，并通过对 Sentinel-2 图像进行多波段的研究使得其具备更强的描述远程感应图像内容的能力。
remote sensingvisual question answeringmulti-modal transformer-based architecturevbfusionsentinel-2 images
发现论文，激发创造
  • LiT-4-RSVQA: 轻量级基于 Transformer 的遥感视觉问答

    本文提出了一种基于 Transformer 轻量级架构的遥感视觉问答方法，名为 LiT-4-RSVQA，旨在有效且准确地回答针对遥感图像的自然语言问题，实验结果表明本方法可以显著减少计算资源使用并提供准确的 VQA 结果。

    Jun, 2023

  • 如何为遥感视觉问答寻找良好的图像 - 文本嵌入？

    该论文研究了三种不同的融合方法在远程遥感领域的视觉问答中的应用，并分析了与模型复杂度相关的精度提高。结果表明，采用更复杂的融合机制可以提高性能，但在实践中寻求模型复杂度和性能之间的平衡是值得的。

    Sep, 2021

  • RSAdapter: 适用于遥感视觉问答的多模型适应器

    我们提出了一种名为 RSAdapter 的新方法，它通过并行适配器和每个全连接层之后插入的额外线性转换层来提高预训练多模态模型的适应性，并降低推理成本，通过在三个 RS-VQA 数据集上的实验证明其有效性。

    Oct, 2023

  • RSVQA：用于遥感数据的视觉问答

    本文介绍了一种利用自然语言提问并结合卷积神经网络（CNN）和循环神经网络（RNN）用于从遥感数据中提取高层信息的方法。使用 OpenStreetMap（OSM）查询，构建了两个包含图像 / 问题 / 答案三元组的数据集，并使用这些数据集培训和评估了模型，实现了遥感图像问答任务。

    Mar, 2020

  • 远程感知中的视觉问答：跨注意力与多模态信息瓶颈

    本研究提出了一种基于跨注意力的信息最大化的方法，结合 CNN-LSTM，并在两个不同分辨率的 VQA 遥感数据集上评估表现，获得了较高的准确率。

    Jun, 2023

  • MMFT-BERT：基于 BERT 编码的多模态融合转换器用于视觉问答

    MMFT-BERT 是一种多模态融合 Transformer 网络，利用 BERT 编码技术在视频和文本上进行数据处理，并通过新型的 Transformer 融合方法实现多模态输入的组合，该方法在 TVQA 数据集上取得了 SOTA 结果。

    Oct, 2020

  • 遥感图像中鲁棒性视觉问答的多语言增强

    本文提出了一种基于对抗学习的策略，使用增强的数据集来提高遥感视觉问题回答模型的鲁棒性，并在低分辨率数据集上取得良好的表现。

    Apr, 2023

  • 问题感知视觉变换器用于多模态推理

    QA-ViT 是一种用于多模态推理的问题感知视觉 Transformer 方法，通过将问题感知能力直接嵌入到视觉编码器中，实现动态视觉特征，并且可以有效地应用于各种多模态架构，提高对视觉和场景文本的理解能力。

    Feb, 2024

  • 通过对抗训练克服遥感视觉问答中的语言偏见

    本研究提出了一种新的框架来减少 Visual Question Answering 系统中的语言偏差，具体地，在原 VQA 框架中添加了对抗分支和两个正则化器以限制训练过程中的语言偏差，并提出了一种新的性能度量方法来评估语言偏差，实验结果表明该方法简单有效。

    Jun, 2023

  • 视觉问答作为阅读理解

    本研究提出了一种基于机器阅读理解的方法，通过将视觉和文本特征统一到自然语言中以解决视觉问答中的多模态特征融合问题，并能够处理大规模外部知识库等基于知识的问题。实验结果表明，该方法在三个数据集上性能具有可比性，此为利用文本和自然语言处理技术解决视觉问答问题的一步。

    Nov, 2018