使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

Nov, 2022

我们介绍了一种开放词汇的 3D 场景图（OVSG），它是一个形式化的框架，用于将各种实体，如物体实例、代理和区域，与自由文本查询进行关联。与传统的基于语义的物体定位方法不同，我们的系统支持上下文感知的实体定位，允许查询，如 ' 在厨房桌子上拿起一个杯子 ' 或' 导航到一个有人坐在上面的沙发 '。与现有的 3D 场景图研究相比，OVSG 支持自由文本输入和开放词汇查询。通过使用 ScanNet 数据集和自采集数据集进行的一系列比较实验证明，我们提出的方法明显超越了以前基于语义的定位技术的性能。此外，我们突出了 OVSG 在真实世界的机器人导航和操作实验中的实际应用。

Sep, 2023

使用物理关系模型，通过将虚构的抽象物体布局与文本描述中存在的空间约束相匹配来从文本描述中推断 3D 结构，并通过将对象检测输出与表示为边界框的 2D 布局候选项进行匹配来评定图像排序，从而检索与场景的文本描述相匹配的图像，其性能优于基于对象出现直方图和学习的 2D 成对关系的基线方法。

Nov, 2016

通过学习语言表达与三维场景的地理特征相关的学习描述符，我们提出了一种基线模型（ScanQA），用于在三维环境中执行基于对象的问题回答，并构建了一个新的 ScanQA 数据集，其中包含来自 800 个室内场景的 40,000 个问题答案对。

Dec, 2021

本研究致力于解决大规模环境下对象层次之外的抽象查询对于基于语言引导的机器人导航的难题，通过构建一个层次化的开放词汇三维场景图映射方法（HOV-SG），将先进的开放词汇分割级别地图与自由导航相结合，并在覆盖面积上实现了大小的减少，并且在物体、房间和楼层级别上产生了超过之前基线的开放词汇语义准确度。

Mar, 2024

通过对具有语义丰富标题的多视图图像进行记录，来设计分层三维标题对，使用对比学习，学习与图像相连的语言感知嵌入，并在开放词汇语义和实例分割方面表现出卓越的性能，具有鲁棒的可迁移性。

Nov, 2022

为了使机器人能够执行各种任务，本研究提出了一种名为 ConceptGraphs 的基于图结构的 3D 场景表示方法，通过将 2D 基本模型的输出与多视图关联相结合，不需要收集大型 3D 数据集或微调模型即可实现对新的语义类进行泛化推理，并通过一些需要对空间和语义概念进行复杂推理的后续规划任务来证明这种表示方法的实用性。

Sep, 2023

使用开放的词汇表以及与场景图特征和查询对象类别联系的扎根 LLM，Open3DSG 作为第一个可以预测不仅是明确的开放词汇对象类别，还包括预定义标签集以外的开放集关系的三维点云方法，在零样本学习方式下有效预测任意对象类别及其描述空间、支持、语义和比较关系的复杂对象之间的关系。

Feb, 2024

通过多视角融合文本对齐的 2D 区域建议，在不使用任何 3D 数据进行训练的情况下，提出了 OVIR-3D 方法，能够根据对象实例和文本查询的特征相似性返回排名的 3D 对象实例分段。经过公共数据集和实际机器人的实验表明了该方法的有效性及其在机器人导航和操作中的潜力。

Nov, 2023

本文提出了在 3D 真实世界场景中进行视觉问答任务的 VQA-3D，并介绍了第一个 VQA-3D 数据集 CLEVR3D 和基于 Transformer 架构的 VQA-3D 基准模型 TransVQA3D。实验证明，将 VQA-3D 作为辅助任务可以提高 3D 场景理解的性能。

Dec, 2021