AAAIDec, 2023

基于关系推理的遥感图像视觉问答：朝向可查询地球的方向发展

PDF
TL;DR基于城市规划需求，我们开发了一个多模态多任务的 VQA 数据集（EarthVQA），旨在推动基于关系推理的判断、计数和综合分析。SOBA 框架以物体为中心，提出了一个语义物体感知的方法，通过对象语义生成和对象引导的注意力，以及双向交叉注意力，对复杂关系推理进行了先进的视觉问答模型优化。实验证明，SOBA 优于现有的通用和遥感方法，该数据集和框架为地球视觉的复杂分析提供了一个强大的基准。
发现论文，激发创造
  • RSVQA：用于遥感数据的视觉问答

    本文介绍了一种利用自然语言提问并结合卷积神经网络（CNN）和循环神经网络（RNN）用于从遥感数据中提取高层信息的方法。使用 OpenStreetMap（OSM）查询，构建了两个包含图像 / 问题 / 答案三元组的数据集，并使用这些数据集培训和评估了模型，实现了遥感图像问答任务。

    Mar, 2020

  • R-VQA: 通过语义关注学习视觉关系事实用于视觉问答

    通过构建 Relation-VQA 数据集，并采用新颖的多步注意力模型，该论文提出了一种更好地利用图像语义知识的视觉关系事实学习框架，从而在视觉问答任务中取得了最先进的性能。

    May, 2018

  • 通过多任务学习实现相对方向根据的全面 VQA 数据集：早期确定 “正确性” 含义

    本文介绍了一种基于抽象物体的新型诊断性视觉问答数据集 GRiD-A-3D，以分析端到端 VQA 模型在相对方向上的地面能力的细粒度。同时，该数据集相对于现有数据集需要更少的计算资源，但具有相当甚至更高的性能。通过基于 GRiD-A-3D 训练的两个知名端到端 VQA 架构的彻底评估，本文证明了在相对指令直观处理的顺序中学习场景中物体的识别和定位以及估计它们内在方向的子任务。

    Jul, 2022

  • OK-VQA：需要外部知识的视觉问答基准

    本文提出了名为 OK-VQA 的基于知识的视觉问答基准，要求使用外部知识资源来回答问题，该任务是多样的、困难的和大型的，与以前的基于知识的 VQA 数据集相比具有更高的难度。

    May, 2019

  • 为视障人士提问的视觉问题提供答案

    该研究介绍了用于回答图像问题的 VizWiz-VQA-Grounding 数据集，并分析了当前 SOTA 算法在识别相关视觉证据方面的不足，尤其是在处理占整个图像一小部分的高质量图像以及需要文本识别技能的视觉问题方面。

    Feb, 2022

  • 基于知识路线的视觉问答推理：深度表示嵌入的挑战

    提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。

    Dec, 2020

  • 如何为遥感视觉问答寻找良好的图像 - 文本嵌入？

    该论文研究了三种不同的融合方法在远程遥感领域的视觉问答中的应用，并分析了与模型复杂度相关的精度提高。结果表明，采用更复杂的融合机制可以提高性能，但在实践中寻求模型复杂度和性能之间的平衡是值得的。

    Sep, 2021

  • 利用先验视觉关系的场景图推理用于视觉问答

    使用结构化可视化表征 —— 场景图，通过可视上下文和语言因素进行关系编码，使用场景图卷积网络实现对对象属性和关系语义的联合推理来回答视觉问题，从而在 GQA 数据集上实现了 54.56％的最高准确率。

    Dec, 2018

  • 关于部件、姿势和遮挡的 3D 感知视觉问答

    通过引入 3D 感知的视觉问答（3D-aware VQA）任务以及相应的数据集 Super-CLEVR-3D 和模型 PO3D-VQA，本论文探索了在视觉场景的三维结构上进行合成推理的挑战性问题，实验证明 PO3D-VQA 模型在 3D 感知的视觉问答上取得了显著进展，但与 2D 视觉问答基准相比仍存在明显的性能差距，显示出 3D 感知的视觉问答依然是一个重要的开放研究领域。

    Oct, 2023

  • 遥感视觉问答中的语言偏见诅咒：空间属性、语言多样性和明确评估的作用

    遥感视觉问答（RSVQA）是通过自然语言实现人机交互，利用航空图像为大众提供了新的机会。然而，RSVQA 中的语言偏见问题往往被忽视，而这会影响模型的健壮性并导致关于模型表现的错误结论。因此，本研究旨在通过视觉盲模型、对抗性测试和数据集分析三个方面来凸显 RSVQA 中的语言偏见问题，并提出更具信息量和互补性的评估指标，力求透明地传达未来 RSVQA 方法的结果。

    Nov, 2023