SAM3D 是一个创新的框架,通过利用 RGB 图像中的 Segment-Anything 模型而无需进一步训练或微调,能够在 3D 点云中预测掩模,首先预测具有 SAM 的 RGB 图像的分割掩模,然后将 2D 掩模投影到 3D 点中。最后,两个相邻帧的点云掩模以双向合并的方式进行合并,最终可以将不同帧预测出的 3D 掩模逐渐合并为整个 3D 场景的 3D 掩模,实验结果表明 SAM3D 能够在不需要对 SAM 进行训练或微调的情况下,实现合理和细粒度的 3D 分割结果。
通过使用基于 Transformer 的方法在 3D 空间中扩展了 Segment Anything Model(SAM),我们提出了一种 3D 可提示分割模型(Point-SAM),利用部分级和对象级注释,从 SAM 中生成伪标签,将 2D 知识提取到我们的 3D 模型中,并在室内和室外基准测试中优于最先进的模型,展示了多种应用,如 3D 标注。