SAI3D：在 3D 场景中分割任意实例

Dec, 2023

SAI3D: Segment Any Instance in 3D Scenes

Yingda Yin, Yuzheng Liu, Yang Xiao, Daniel Cohen-Or, Jingwei Huang...

TL;DRSAI3D 是一种新颖的零样本三维实例分割方法，通过整合来自 Segment Anything Model (SAM) 的几何先验和语义线索，将三维场景划分为几何原语，然后逐步合并为与多视角 SAM 掩码一致的三维实例分割。通过具有动态阈值机制的分层区域增长算法，进一步提升细粒度三维场景解析的鲁棒性。在 Scan-Net 和更具挑战性的 ScanNet++ 数据集上进行的实证评估表明，我们的方法优于现有的开放词汇基准线，并在 ScanNet++ 上的类别不可知分割中甚至超过了全监督方法。

Abstract

Advancements in 3d instance segmentation have traditionally been tethered to the availability of annotated datasets, limiting their application to a narrow spectrum of object categories. Recent efforts have sought to harness vision-language models like CLIP for open-set semantic reason

3d instance segmentation geometric priors semantic cues sai3d scene parsing

发现论文，激发创造

SAM3D: 三维场景中物体分割

SAM3D 是一个创新的框架，通过利用 RGB 图像中的 Segment-Anything 模型而无需进一步训练或微调，能够在 3D 点云中预测掩模，首先预测具有 SAM 的 RGB 图像的分割掩模，然后将 2D 掩模投影到 3D 点中。最后，两个相邻帧的点云掩模以双向合并的方式进行合并，最终可以将不同帧预测出的 3D 掩模逐渐合并为整个 3D 场景的 3D 掩模，实验结果表明 SAM3D 能够在不需要对 SAM 进行训练或微调的情况下，实现合理和细粒度的 3D 分割结果。

Jun, 2023

SAM3D：零射击半自动三维医学图像分割

SAM3D 是一种新的半自动零射击 3D 图像分割方法，通过现有的任意分割模型，利用四步策略实现在 3D 图像中快速且准确的分割，可以帮助手术规划和教育、诊断成像以及科学研究。

May, 2024

使用 NeRFs 对 3D 中的任何物体进行分割

该研究提出了一个用于三维分割的新框架 SA3D，通过密度导向的反渲染将 2D 分割蒙版投影到 3D 蒙版网格，再通过迭代的方式学习准确的 3D 分割结果，实验表明 SA3D 在不同场景下的有效性。

Apr, 2023

开放词汇 SAM3D：理解任何三维场景

OV-SAM3D 是一个通用框架，用于不需要训练即可理解任何 3D 场景的开放词汇三维场景理解，通过使用 Segment Anything Model (SAM) 生成超点并通过 Recognize Anything Model (RAM) 的开放标签和操作表，结合超点和分割掩模生成最终的 3D 实例，经过对 ScanNet200 和 nuScenes 数据集的实证评估，我们的方法在未知的开放世界环境中超越了现有的开放词汇方法。

May, 2024

SAM3D：基于 Segment Anything 模型的零样本三维物体检测

本研究旨在将基础模型的能力发挥在 3D 视觉任务中，在通过 SAM 提出的 BEV 流程管道构建的基础上，通过提高零样例能力实现 3D 物体检测，将其应用于 Waymo 开放数据集，展示其可行性。

Jun, 2023

SAMPro3D：用于零样本场景分割的三维 SAM 提示定位

我们引入了 SAMPro3D 来进行零样本 3D 室内场景分割，通过将预训练的 Segment Anything Model (SAM) 应用于 2D 帧，在 3D 点云和多个姿态的 2D 帧的基础上对 3D 场景进行分割。我们的关键思想是将场景中的 3D 点作为自然的 3D 提示，对其在帧间的投影像素提示进行对齐，确保像素提示和其通过 SAM 预测的掩码在帧间的一致性。此外，我们建议根据所有 2D 帧的反馈滤除低质量的 3D 提示，以提高分割质量。我们还建议，如果不同的 3D 提示正在分割相同的对象，要进行融合，实现更全面的分割。值得注意的是，我们的方法不需要在领域特定数据上进行额外的训练，从而保留了 SAM 的零样本能力。广泛的定性和定量结果显示，我们的方法始终比先前的零样本或完全监督方法具有更高的质量和更多样的分割性能，在许多情况下甚至超过人类级别的注释。项目页面可以通过此 https URL 访问。

Nov, 2023

利用大规模预训练视觉基础模型进行高效标签的 3D 点云分割

通过采用大规模预训练模型、计算机视觉和 2D 任务，本研究提出了一种新的框架来解决 3D 点云分割任务，通过将 2D 语义分割预测投影到 3D 空间，并引入语义标签融合策略，实现了在扩展的数据集上的 3D 场景理解。

Nov, 2023

Point-SAM: 可提示的点云三维分割模型

通过使用基于 Transformer 的方法在 3D 空间中扩展了 Segment Anything Model（SAM），我们提出了一种 3D 可提示分割模型（Point-SAM），利用部分级和对象级注释，从 SAM 中生成伪标签，将 2D 知识提取到我们的 3D 模型中，并在室内和室外基准测试中优于最先进的模型，展示了多种应用，如 3D 标注。

Jun, 2024

通过视觉基础模型实现无标签场景理解

该研究调查了使用视觉基础模型实现二维和三维场景理解的潜力，并提出了一个新的跨模式噪声监督方法，利用 CLIP 和 SAM 模型的优势共同训练二维和三维网络，实现了在不需要标记数据的情况下进行图像语义分割。

Jun, 2023

SAM3D：三维医学图像中的分割模型

借鉴了 Segment Anything Model (SAM) 的方法，我们提出了 SAM3D，该方法针对 3D 体积医学图像，利用 SAM 编码器的预训练特征来捕捉输入图像的意义表示，并通过整体处理 3D 图像而避免了大量参数的训练，实验结果表明，在 3D 医学分割任务中，我们的网络相对于其他最先进的方法具有竞争力且参数效率明显。

Sep, 2023