本研究利用预训练的 CLIP 和 DINO 模型的多模式知识和物体推理能力来解决三维开放式词汇分割的挑战。通过优化神经辐射场 (NeRF) 并引入相应的损失函数，本研究在无需进行微调的情况下，以开放式视觉和文本知识为先验知识，从 2D 特征中提取出 3D 分割特征。通过实验验证，本研究所提出的方法在无需分割注释的情况下，甚至优于完全监督的分割模型训练，表明三维开放式词汇分割可以有效地从 2D 图像和文本图像对中学到。

May, 2023

本文提出了一种统一的多模态三维开放词汇场景理解网络 (UniM-OV3D)，通过对齐点云、图像、语言和深度信息，设计了一个分层点云特征提取模块并使用了层次化三维标题对来提高粗到细点云语义表示学习，实验结果表明我们的方法在室内外基准测试中实现了开放式语义和实例分割的最先进性能。

Jan, 2024

VFMM3D 利用 Vision Foundation Models (VFMs) 将单视图图像准确转换为 LiDAR 点云表示，生成富有前景信息的伪 LiDAR 数据，以此来进行单目三维目标检测并预测物体的三维坐标。

Apr, 2024

该论文介绍了一种名为 Bridge3D 的创新方法，通过预训练使用基础模型的特征、语义掩码和说明来预训练 3D 模型，从而增强 3D 场景表示学习，包括使用基础模型的语义掩码来指导掩码和重建过程。此外，作者还介绍了一种新方法，使用基础模型生成高精度的物体级掩码和语义文本信息，进一步促进基础 2D 和文本表示向 3D 模型的知识转移。该方法在 3D 对象检测和语义分割任务中优于现有的最先进方法，在 ScanNet 数据集上的最佳结果超过之前的最优方法 PiMAE 5.3%。

May, 2023

Open-Fusion 是一种实时的、开放词汇的 3D 地图创建方法，利用 RGB-D 数据进行场景重建，并结合预训练的视觉 - 语言模型（VLFM）和 Truncated Signed Distance Function (TSDF) 技术，实现无需额外训练的开放词汇 3D 分割，同时提供实时的场景理解和目标语义。

Oct, 2023

我们描述了一种预测开放词汇的 3D 语义体素占用图的方法，该方法可实现对自由形式语言查询进行 3D 定位、分割和检索。我们设计了一种新的模型架构，包括 2D-3D 编码器、占用预测和 3D 语言头；开发了一种三模态自监督学习算法，利用图像、语言和 LiDAR 点云三种模态来训练所提出的架构；并在几个开放词汇任务上定量展示了所提出模型的优势。

Jan, 2024

通过对具有语义丰富标题的多视图图像进行记录，来设计分层三维标题对，使用对比学习，学习与图像相连的语言感知嵌入，并在开放词汇语义和实例分割方面表现出卓越的性能，具有鲁棒的可迁移性。

Nov, 2022

通过开放式词汇学习、视觉语言模型和远程模拟器，我们解决了当前基于激光雷达的 3D 物体检测系统的局限性，实现了对新颖对象的高效检测和识别。

Mar, 2024

基于视觉 - 语言基础模型，本研究提出了一种概率标签融合方法，用于从开放集标签测量中预测闭合集语义类别，以增强基于实例感知的语义映射；通过整合各模块构建一个统一的语义映射系统，并通过 ScanNet 和 SceneNN 数据集评估了方法的零样本性能，取得了显著优于传统方法的 40.3 均值平均精度（mAP）的结果。

Feb, 2024

本研究提出一种新的基于开放词汇的跨模态知识迁移框架 (MKT)，利用视觉和语言预训练模型的多模态知识，采用知识蒸馏技术和双流模块来实现多标签分类和多目标识别，并在公开基准数据集上显著优于现有方法。

Jul, 2022