Oct, 2023

关于部件、姿势和遮挡的 3D 感知视觉问答

PDF
TL;DR通过引入 3D 感知的视觉问答（3D-aware VQA）任务以及相应的数据集 Super-CLEVR-3D 和模型 PO3D-VQA，本论文探索了在视觉场景的三维结构上进行合成推理的挑战性问题，实验证明 PO3D-VQA 模型在 3D 感知的视觉问答上取得了显著进展，但与 2D 视觉问答基准相比仍存在明显的性能差距，显示出 3D 感知的视觉问答依然是一个重要的开放研究领域。
visual question answering3d structure3d-aware vqacompositional reasoningobject recognition
发现论文，激发创造
  • CLEVR3D：3D 实际场景中的组合语言与基本视觉推理问答

    本文提出了在 3D 真实世界场景中进行视觉问答任务的 VQA-3D，并介绍了第一个 VQA-3D 数据集 CLEVR3D 和基于 Transformer 架构的 VQA-3D 基准模型 TransVQA3D。实验证明，将 VQA-3D 作为辅助任务可以提高 3D 场景理解的性能。

    Dec, 2021

  • 3D 问答

    本文提出了一种基于 Transformer 的 3D 问答框架，名为 3DQA-TR，通过利用外观和几何信息对多模态信息进行编码，以实现对于 3D 领域的问答。同时，作者开发了第一个 3DQA 数据集 “ScanQA”，该数据集包含了大约 6K 个问题和 30K 个答案，可用于验证 3DQA-TR 的有效性。实验结果表明该 3DQA 框架优于现有的 VQA 框架且高效设计的效果较好。

    Dec, 2021

  • ScanQA: 三维问题回答用于空间场景理解

    通过学习语言表达与三维场景的地理特征相关的学习描述符，我们提出了一种基线模型（ScanQA），用于在三维环境中执行基于对象的问题回答，并构建了一个新的 ScanQA 数据集，其中包含来自 800 个室内场景的 40,000 个问题答案对。

    Dec, 2021

  • 多视角图像中的三维概念学习和推理

    本文提出了一个新的大规模 3D 多视图视觉问答基准（3DMV-VQA），介绍了一种基于神经场，2D 预训练的视觉语言模型和神经推理运算符的 3D 概念学习与推理（3D-CLR）框架，并评估了各种最先进的模型，发现它们都表现不佳，提出了从多视图图像中推断出世界的紧凑 3D 表示，并在此基础上执行推理的原则方法，对挑战进行了深入分析并指出了潜在的未来方向。

    Mar, 2023

  • 基于形状概念的深度监督算法用于考虑遮挡的三维物体分割

    本研究中，我们利用深度卷积神经网络架构在 2D 图像和 3D 空间中定位语义部件并推断它们的可见性状态，其利用合成数据和模拟的遮挡情况训练网络，并表明了其在现实图像基准测试中具有最先进的性能和有效的迁移知识。

    Dec, 2016

  • SQA3D: 3D 场景中的位置问答

    提出了一个新的任务来评估具有情境理解能力的代理人的场景理解：三维情境中的位置问答（SQA3D）。在一个三维场景中，该任务要求被测试代理人首先理解其所处的情境，然后通过对其周围环境进行推理，并在该情境下回答一个问题。建立了一个具有 6.8k 个唯一情境和 33.4k 个问题的数据集，检查了一种智能代理人的推理能力的广泛谱系，包括空间关系理解和常识理解、导航和多跳推理。SQA3D 对当前特别是 3D 推理模型提出了重大挑战。评估各种最先进的方法，并发现最佳方法只达到了 47.20% 的总体得分，而业余人类参与者则可以达到 90.06% 的得分。我们相信 SQA3D 可以促进具有更强的情境理解和推理能力的未来体系结构 AI 研究。

    Oct, 2022

  • 2D 和 3D 视觉问答之间的桥梁：一种用于 3D VQA 的融合方法

    利用问题条件的 2D 视图选择过程，将 2D 知识与 3D-VQA 系统进行整合，通过双 Transformer 结构紧密结合 2D 和 3D 模态，并捕捉模态之间的细粒度相关性，实现了面向 3D-VQA 的多模态基于 Transformer 的架构。

    Feb, 2024

  • ImageNet3D：面向通用对象级别 3D 理解

    通过与 ImageNet 数据集相结合，ImageNet3D 数据集提供了 200 个类别的 2D 和 3D 信息，从而为构建具有更强的通用性目标级三维理解的视觉模型提供了潜力。

    Jun, 2024

  • 基于 POS 标记引导注意力的结构三元组学习用于视觉问答

    本文探索在 VQA 多项选择任务中设计有效的 VQA 模型的良好实践，并通过结构学习、POS 标签引导的注意力机制等手段构建视觉问答模型，评估结果在视觉 7W 和 VQA 多选数据集上取得了最好的 68.2% 和最竞争的 69.6% 的准确率。

    Jan, 2018

  • 生成三维场景中问题的上下文感知自然答案

    在 3D 视觉语言的年轻领域中，我们将问题回答的任务转变为序列生成任务，以生成自由形式的自然答案来回答 3D 场景中的问题（Gen3DQA）。我们直接优化我们的模型以获得全局句子语义，并使用一种实用的语言理解奖励来进一步提高句子质量。我们的方法在 ScanQA 基准上达到了新的最佳性能（测试集的 CIDEr 得分为 72.22/66.57）。

    Oct, 2023