May, 2024

Reasoning3D -- 3D 中的基于先验知识与推理：通过大型视觉语言模型进行细粒度零样本开放词汇的 3D 推理部分分割

PDF
TL;DR这篇论文介绍了一种基于零样本推理的 3D 分割新任务，以搜索和定位物体的部件为目标，它超越了先前的类别特定 3D 语义分割、3D 实例分割和开放词汇 3D 分割的限制。我们设计了一个简单的基线方法，Reasoning3D，能够理解和执行复杂的命令，对具有上下文感知和推理答案的 3D 网格进行 (细粒度的) 特定部分分割。该方法利用现成的预训练二维分割网络，由大型语言模型 (LLMs) 支持，在零样本的方式下解释用户的输入查询。我们的方法具有泛化性，能够根据隐含的文本查询有效地定位和突出显示 3D 对象的部分，包括这些组成部分的 3D 对象和真实世界的扫描数据。此外，我们的无训练方法可实现快速部署，并成为未来研究中关于部件级 3D (语义) 对象理解的可行通用基线，在包括机器人学、物体操作、部件装配、自动驾驶应用、增强现实和虚拟现实 (AR/VR) 以及医疗应用等各个领域发挥作用。该论文提供了代码、模型权重、部署指南和评估协议。
zero-shot 3d reasoning segmentationparts searchinglocalizationreasoning3duniversal baseline
发现论文，激发创造
  • Reason3D：基于大规模语言模型的 3D 分割搜索和推理

    Reason3D 是一种新型的多模态大型语言模型，通过点云数据和文本提示作为输入，生成文本回答和分割遮罩，实现 3D 推理分割、分层搜索、精确引用和问题回答等高级任务。

    May, 2024

  • 基于推理的大型多模态模型的 3D 零件分割

    鉴于目标物体识别需求，我们介绍了一种称为 3D 物体推理部分分割的新型细分任务，旨在根据复杂和隐含的文本查询输出一个基于 3D 物体特定部分的分割蒙版，并提出了一种能够分割 3D 物体部分的模型，并生成与 3D 物体分割请求相对应的自然语言解释。

    Apr, 2024

  • 借助推理能力强化 3D 视觉定位

    提出了一种新的任务称为 3D 推理定位，并引入了一个名为 ScanReason 的新基准，该基准提供了来自五种推理类型的超过 10K 个问题 - 答案 - 位置对，需要推理与定位的相互作用，进一步设计了我们的 ReGround3D 方法，由视觉中心推理模块与多模式大型语言模型（MLLM）驱动的 3D 定位模块组成，通过回顾增强几何和细节从 3D 场景中获得准确的对象位置，并提出了一种推理和定位步骤相互交错的推理链机制来进一步提高性能，在所提出的基准上进行了广泛的实验证实了我们提出的方法的有效性。

    Jul, 2024

  • LLM-Grounder：使用大型语言模型作为代理人进行开放词汇三维视觉对接

    LLM-Grounder 是一种零样本、开放词汇量的基于大型语言模型（LLM）的 3D 视觉定位流水线。通过将复杂自然语言查询拆解为语义元素，并利用可视化定位工具识别 3D 场景中的对象，LLM-Grounder 评估所提议对象之间的空间和常识关系，从而做出最终的定位决策。该方法不需要有标签的培训数据，可应用于新型 3D 场景和任意文本查询，显示出最先进的零样本定位准确性。研究结果表明，LLM 显著提高了定位能力，尤其对于复杂语言查询，在机器人的 3D 视觉语言任务中，LLM-Grounder 是一种有效的方法。

    Sep, 2023

  • 神经场上的 3D 概念基础

    本文提出了一种利用神经场进行三维概念定位、分割和学习的方法，并通过问题回答来实现可微分的模型训练，实现了在语义和实例分割、三维视觉推理任务中的性能提升。

    Jul, 2022

  • 零字参数开放词汇三维视觉定位的可视化编程

    通过使用大型语言模型，我们提出了一种零样本开放词汇的三维视觉定位方法，使用独特的基于对话的方法和视觉程序模块，以及创新的语言 - 物体关联模块，在三维场景中实现了复杂推理，并扩展了现有三维物体检测器的应用范围，取得了显著的性能优势。

    Nov, 2023

  • Agent3D-Zero：一种用于零样本三维理解的智能体

    通过引入 Agent3D-Zero 框架，我们能够以零样本学习的方式处理三维场景理解问题，通过选择和分析一系列视点来促进三维理解，并利用自定义的视觉提示来增强模型的能力。大量实验证明了该框架在理解各种以前未见的三维环境方面的有效性。

    Mar, 2024

  • 基于基础模型的 3D 开放词汇分割

    本研究利用预训练的 CLIP 和 DINO 模型的多模式知识和物体推理能力来解决三维开放式词汇分割的挑战。通过优化神经辐射场 (NeRF) 并引入相应的损失函数，本研究在无需进行微调的情况下，以开放式视觉和文本知识为先验知识，从 2D 特征中提取出 3D 分割特征。通过实验验证，本研究所提出的方法在无需分割注释的情况下，甚至优于完全监督的分割模型训练，表明三维开放式词汇分割可以有效地从 2D 图像和文本图像对中学到。

    May, 2023

  • 多视角图像中的三维概念学习和推理

    本文提出了一个新的大规模 3D 多视图视觉问答基准（3DMV-VQA），介绍了一种基于神经场，2D 预训练的视觉语言模型和神经推理运算符的 3D 概念学习与推理（3D-CLR）框架，并评估了各种最先进的模型，发现它们都表现不佳，提出了从多视图图像中推断出世界的紧凑 3D 表示，并在此基础上执行推理的原则方法，对挑战进行了深入分析并指出了潜在的未来方向。

    Mar, 2023

  • ZeroPS: 高质量的跨模态知识传递技术用于零样本 3D 部分分割

    我们设计了一种新的零样本三维部分分割流水线 ZeroPS，它可以将二维预训练基础模型的知识高质量地传递到三维点云中。我们的方法主要基于多视图对应和基础模型的提示机制之间的自然关系，并在此基础上建立桥梁。我们的流水线包括两个组件：1) 自扩展组件，将单个视角的二维组扩展到三维全局级组；2) 多模态标记组件，引入二维检查机制，将每个二维预测的边界框投票至最佳匹配的三维部件，并使用类非最高投票惩罚函数来优化投票矩阵。此外，还包括一种合并算法来合并部件级的三维组。在 PartnetE 数据集上对三个零样本分割任务进行了广泛评估，相比现有方法，取得了显著改进的最新成果（分别提高了 19.6％，5.2％和 4.9％）。我们的方法不需要任何训练、微调或可学习参数，并且几乎不受领域变化的影响。代码将公开发布。

    Nov, 2023