本文提出了通过端到端神经网络来解决相对方向的归一化问题，并构建了 GRiD-3D 数据集以支持此研究。实验证明，当问题刺激相对定向问题的次任务时，回答相对定向的问题是可行的。

May, 2022

该研究介绍了用于回答图像问题的 VizWiz-VQA-Grounding 数据集，并分析了当前 SOTA 算法在识别相关视觉证据方面的不足，尤其是在处理占整个图像一小部分的高质量图像以及需要文本识别技能的视觉问题方面。

Feb, 2022

这篇研究报告探讨了视觉和语言推理需要对视觉概念、语义和语言基础以及两种模式之间的相互作用进行感知，并评估了现有的 Vision-and-language 模型对于空间理解的忠实度。研究者提出了两个目标，利用现成的深度估计器，设计了关于三维空间推理的代理任务来训练 Vision-and-language 模型，使得在视觉问答挑战中取得了显著的表现改善。

Sep, 2021

本文提出了在 3D 真实世界场景中进行视觉问答任务的 VQA-3D，并介绍了第一个 VQA-3D 数据集 CLEVR3D 和基于 Transformer 架构的 VQA-3D 基准模型 TransVQA3D。实验证明，将 VQA-3D 作为辅助任务可以提高 3D 场景理解的性能。

Dec, 2021

通过引入 3D 感知的视觉问答（3D-aware VQA）任务以及相应的数据集 Super-CLEVR-3D 和模型 PO3D-VQA，本论文探索了在视觉场景的三维结构上进行合成推理的挑战性问题，实验证明 PO3D-VQA 模型在 3D 感知的视觉问答上取得了显著进展，但与 2D 视觉问答基准相比仍存在明显的性能差距，显示出 3D 感知的视觉问答依然是一个重要的开放研究领域。

Oct, 2023

基于城市规划需求，我们开发了一个多模态多任务的 VQA 数据集（EarthVQA），旨在推动基于关系推理的判断、计数和综合分析。SOBA 框架以物体为中心，提出了一个语义物体感知的方法，通过对象语义生成和对象引导的注意力，以及双向交叉注意力，对复杂关系推理进行了先进的视觉问答模型优化。实验证明，SOBA 优于现有的通用和遥感方法，该数据集和框架为地球视觉的复杂分析提供了一个强大的基准。

Dec, 2023

本文提出了一个新的大规模 3D 多视图视觉问答基准（3DMV-VQA），介绍了一种基于神经场，2D 预训练的视觉语言模型和神经推理运算符的 3D 概念学习与推理（3D-CLR）框架，并评估了各种最先进的模型，发现它们都表现不佳，提出了从多视图图像中推断出世界的紧凑 3D 表示，并在此基础上执行推理的原则方法，对挑战进行了深入分析并指出了潜在的未来方向。

Mar, 2023

提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。

Dec, 2020

通过利用注视信息澄清有歧义的问题，我们提出了以注视为基础的视觉问题回答数据集 (GazeVQA)，并提出了一种利用注视目标估计结果提高 GazeVQA 任务准确性的方法。实验结果显示该方法在某些情况下提高了 VQA 系统在 GazeVQA 上的表现，并识别了需要改进的 GazeVQA 任务的一些典型问题。

Mar, 2024

提出了一种新的任务称为 3D 推理定位，并引入了一个名为 ScanReason 的新基准，该基准提供了来自五种推理类型的超过 10K 个问题 - 答案 - 位置对，需要推理与定位的相互作用，进一步设计了我们的 ReGround3D 方法，由视觉中心推理模块与多模式大型语言模型（MLLM）驱动的 3D 定位模块组成，通过回顾增强几何和细节从 3D 场景中获得准确的对象位置，并提出了一种推理和定位步骤相互交错的推理链机制来进一步提高性能，在所提出的基准上进行了广泛的实验证实了我们提出的方法的有效性。

Jul, 2024