使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

Nov, 2022

SAI3D 是一种新颖的零样本三维实例分割方法，通过整合来自 Segment Anything Model (SAM) 的几何先验和语义线索，将三维场景划分为几何原语，然后逐步合并为与多视角 SAM 掩码一致的三维实例分割。通过具有动态阈值机制的分层区域增长算法，进一步提升细粒度三维场景解析的鲁棒性。在 Scan-Net 和更具挑战性的 ScanNet++ 数据集上进行的实证评估表明，我们的方法优于现有的开放词汇基准线，并在 ScanNet++ 上的类别不可知分割中甚至超过了全监督方法。

Dec, 2023

本研究介绍了一种开放词汇的 3D 实例分割任务，使用零样本学习来提高模型在目标实例分割方面的泛化性，并设计了 OpenMask3D 方法，该方法使用预测的类别不可知的 3D 实例掩码来聚合每个掩码的特征，通过多视图融合和基于 CLIP 的图像嵌入来提高分割的性能。

Jun, 2023

SAM3D 是一个创新的框架，通过利用 RGB 图像中的 Segment-Anything 模型而无需进一步训练或微调，能够在 3D 点云中预测掩模，首先预测具有 SAM 的 RGB 图像的分割掩模，然后将 2D 掩模投影到 3D 点中。最后，两个相邻帧的点云掩模以双向合并的方式进行合并，最终可以将不同帧预测出的 3D 掩模逐渐合并为整个 3D 场景的 3D 掩模，实验结果表明 SAM3D 能够在不需要对 SAM 进行训练或微调的情况下，实现合理和细粒度的 3D 分割结果。

Jun, 2023

本文提出了一种统一的多模态三维开放词汇场景理解网络 (UniM-OV3D)，通过对齐点云、图像、语言和深度信息，设计了一个分层点云特征提取模块并使用了层次化三维标题对来提高粗到细点云语义表示学习，实验结果表明我们的方法在室内外基准测试中实现了开放式语义和实例分割的最先进性能。

Jan, 2024

本研究旨在将基础模型的能力发挥在 3D 视觉任务中，在通过 SAM 提出的 BEV 流程管道构建的基础上，通过提高零样例能力实现 3D 物体检测，将其应用于 Waymo 开放数据集，展示其可行性。

Jun, 2023

我们提出了一种名为 Open-YOLO 3D 的快速而准确的开放词汇 3D 实例分割方法，在多视角 RGB 图像中有效利用仅 2D 对象检测进行开放词汇 3D 实例分割，并通过生成类无关的 3D 掩码并与文本提示相关联来处理此任务。我们的 Open-YOLO 3D 在两个基准测试集 ScanNet200 和 Replica 上实现了最先进的性能，在与文献中最佳方法相比速度提高了多达 16 倍。

Jun, 2024

通过对具有语义丰富标题的多视图图像进行记录，来设计分层三维标题对，使用对比学习，学习与图像相连的语言感知嵌入，并在开放词汇语义和实例分割方面表现出卓越的性能，具有鲁棒的可迁移性。

Nov, 2022

本研究旨在无缝地将 Segment Anything Model (SAM) 与开放词汇目标检测器集成在一起，引入了 SideFormer 模块和开放区域建议网络 (Open-set RPN) 等创新方法，以提升 SAM 在检测任意对象和开放词汇识别方面的性能。Sambor 在 COCO 和 LVIS 等基准测试中展现出卓越的零样本性能，并与之前的最先进方法竞争力十足，旨在为 SAM 赋予识别多样化对象类别和促进视觉基础模型的开放词汇学习提供有意义的努力。

Dec, 2023

该研究调查了使用视觉基础模型实现二维和三维场景理解的潜力，并提出了一个新的跨模式噪声监督方法，利用 CLIP 和 SAM 模型的优势共同训练二维和三维网络，实现了在不需要标记数据的情况下进行图像语义分割。

Jun, 2023