该研究提出了一个用于三维分割的新框架 SA3D，通过密度导向的反渲染将 2D 分割蒙版投影到 3D 蒙版网格，再通过迭代的方式学习准确的 3D 分割结果，实验表明 SA3D 在不同场景下的有效性。

Apr, 2023

该研究调查了使用视觉基础模型实现二维和三维场景理解的潜力，并提出了一个新的跨模式噪声监督方法，利用 CLIP 和 SAM 模型的优势共同训练二维和三维网络，实现了在不需要标记数据的情况下进行图像语义分割。

Jun, 2023

多类多实例分割是识别图像中多个对象类别和同一类别的多个实例的任务，提出了一种新颖的领域不变的通过真实 - 模拟 (Pseudo-Real) 微调策略来改善多类多实例分割模型的性能，尤其在室内场景理解方面表现出良好的泛化性能。

Mar, 2024

Part123 是一种新颖的从单视图图像进行部分感知三维重建的框架，通过扩散模型生成多视角一致图像，并利用 Segment Anything Model (SAM) 生成多视角分割蒙版，然后通过对比学习将 2D 基于部分信息有效地结合到三维重建中，实验结果表明该方法可以在各种物体上生成具有高质量分割部分的三维模型，相较于现有无结构重建方法，该方法产生的部分感知三维模型对于特征保持重建、基本形状拟合和三维形状编辑等重要应用有益。

May, 2024

SAM3D 是一个创新的框架，通过利用 RGB 图像中的 Segment-Anything 模型而无需进一步训练或微调，能够在 3D 点云中预测掩模，首先预测具有 SAM 的 RGB 图像的分割掩模，然后将 2D 掩模投影到 3D 点中。最后，两个相邻帧的点云掩模以双向合并的方式进行合并，最终可以将不同帧预测出的 3D 掩模逐渐合并为整个 3D 场景的 3D 掩模，实验结果表明 SAM3D 能够在不需要对 SAM 进行训练或微调的情况下，实现合理和细粒度的 3D 分割结果。

Jun, 2023

我们提出了一种名为 SAMSNeRF 的创新方法，结合了 Segment Anything Model（SAM）和 Neural Radiance Field（NeRF）技术，通过 SAM 生成手术工具的准确分割掩模，在 NeRF 的指导下对动态手术场景进行精细重建，实验结果表明我们的方法成功重建了具有高保真度的动态手术场景，并准确反映了手术工具的空间信息，从而大大提升了手术导航和自动化的效果。

Aug, 2023

SAI3D 是一种新颖的零样本三维实例分割方法，通过整合来自 Segment Anything Model (SAM) 的几何先验和语义线索，将三维场景划分为几何原语，然后逐步合并为与多视角 SAM 掩码一致的三维实例分割。通过具有动态阈值机制的分层区域增长算法，进一步提升细粒度三维场景解析的鲁棒性。在 Scan-Net 和更具挑战性的 ScanNet++ 数据集上进行的实证评估表明，我们的方法优于现有的开放词汇基准线，并在 ScanNet++ 上的类别不可知分割中甚至超过了全监督方法。

Dec, 2023

本研究介绍了 Segment Anything for NeRF in High Quality (SANeRF-HQ) 方法，通过结合 Segment Anything Model (SAM) 和 Neural Radiance Fields (NeRF) 实现了高质量的给定场景中任意对象的三维分割，提高了分割边界的准确性，优于当前 NeRF 对象分割的最新方法，并具备更高的对象定位灵活性和多视图的一致对象分割。

Dec, 2023

本研究旨在将基础模型的能力发挥在 3D 视觉任务中，在通过 SAM 提出的 BEV 流程管道构建的基础上，通过提高零样例能力实现 3D 物体检测，将其应用于 Waymo 开放数据集，展示其可行性。

Jun, 2023

通过使用基于 Transformer 的方法在 3D 空间中扩展了 Segment Anything Model（SAM），我们提出了一种 3D 可提示分割模型（Point-SAM），利用部分级和对象级注释，从 SAM 中生成伪标签，将 2D 知识提取到我们的 3D 模型中，并在室内和室外基准测试中优于最先进的模型，展示了多种应用，如 3D 标注。

Jun, 2024