May, 2024

通过提问实现三维视觉与语言理解的统一化

PDF
TL;DR通过统一各种三维场景表示方法，使用可提示的查询（Promptable Queries）解决低级实例分割至高级推理与规划等广泛的三维视觉语言任务的统一模型（PQ3D）。在十个多样化的三维视觉语言数据集上进行测试，PQ3D 在这些任务中表现出令人印象深刻的性能，并在大多数基准测试中创造了新记录。
3d vision-languagepq3dunified modelscene representationsmulti-task training
发现论文，激发创造
  • Uni3DL: 三维和语言理解的统一模型

    Uni3DL 是一个统一的 3D 和语言理解模型，它运用于点云而不是传统的多视图图像，实现了对多种 3D 任务的支持，包括语义分割、目标检测、实例分割、视觉定位、3D 字幕和文本 - 3D 跨模态检索，并且在性能上超过了最先进的特定任务模型。

    Dec, 2023

  • PLA: 基于自然语言的开放词汇三维场景理解

    通过对具有语义丰富标题的多视图图像进行记录，来设计分层三维标题对，使用对比学习，学习与图像相连的语言感知嵌入，并在开放词汇语义和实例分割方面表现出卓越的性能，具有鲁棒的可迁移性。

    Nov, 2022

  • CLIP 引导的视觉 - 语言预训练用于 3D 场景问答

    本文介绍了一种新颖的 3D 预训练视觉 - 语言方法，将来自 2D 图像的语言知识和视觉概念应用于 3D 世界的理解，使用流行的 CLIP 模型代入编码的 3D 场景特征以评估其 3D 世界推理能力，并在 3D 视觉问答下游任务中证明了该方法的优越性和可解释性。

    Apr, 2023

  • Multi-CLIP：针对 3D 场景中问答任务的对比视觉语言预训练

    本研究提出一种名为 MULTI-CLIP 的 3D 预训练视觉语言模型，可有效提高现有 3D 视觉问答任务的表现并构建出具有良好结构的 3D 场景特征空间。

    Jun, 2023

  • 具备 3D 理解的语言 - 图像模型

    通过扩展多模态大语言模型 (MLLMs) 的感知能力以在三维空间中对图像进行定位和推理，本研究引入了一个名为 Cube-LLM 的新 MLLM，并在 LV3D 数据集上进行预训练，实验表明 Cube-LLM 在整体 MLLM 和特定领域的基准测试中均表现出色，并取得了显著的成果。

    May, 2024

  • 3D 问答

    本文提出了一种基于 Transformer 的 3D 问答框架，名为 3DQA-TR，通过利用外观和几何信息对多模态信息进行编码，以实现对于 3D 领域的问答。同时，作者开发了第一个 3DQA 数据集 “ScanQA”，该数据集包含了大约 6K 个问题和 30K 个答案，可用于验证 3DQA-TR 的有效性。实验结果表明该 3DQA 框架优于现有的 VQA 框架且高效设计的效果较好。

    Dec, 2021

  • UniM-OV3D：使用细粒度特征表示的单模态开放词汇三维场景理解

    本文提出了一种统一的多模态三维开放词汇场景理解网络 (UniM-OV3D)，通过对齐点云、图像、语言和深度信息，设计了一个分层点云特征提取模块并使用了层次化三维标题对来提高粗到细点云语义表示学习，实验结果表明我们的方法在室内外基准测试中实现了开放式语义和实例分割的最先进性能。

    Jan, 2024

  • VP3D：释放 2D 视觉提示以实现文本到 3D 生成

    通过可视化引导的扩散模型，从 2D 可视化提示中显式释放视觉外观知识以增强 3D 模型的生成。

    Mar, 2024

  • 2D 和 3D 视觉问答之间的桥梁：一种用于 3D VQA 的融合方法

    利用问题条件的 2D 视图选择过程，将 2D 知识与 3D-VQA 系统进行整合，通过双 Transformer 结构紧密结合 2D 和 3D 模态，并捕捉模态之间的细粒度相关性，实现了面向 3D-VQA 的多模态基于 Transformer 的架构。

    Feb, 2024

  • 构建大型多模态模型理解任意视觉提示

    该研究介绍了一种新颖的多模态模型，可以解码任意视觉提示，通过在 RGB 图像上直接叠加视觉标记的方式，实现了对特定区域的理解，在区域理解任务上取得了最先进的性能，并提出了 ViP-Bench，一个综合评估模型在理解多个维度上的视觉提示能力的基准，为未来的研究提供了可能。

    Dec, 2023