Jun, 2023

SAM3D: 三维场景中物体分割

PDF
TL;DRSAM3D 是一个创新的框架，通过利用 RGB 图像中的 Segment-Anything 模型而无需进一步训练或微调，能够在 3D 点云中预测掩模，首先预测具有 SAM 的 RGB 图像的分割掩模，然后将 2D 掩模投影到 3D 点中。最后，两个相邻帧的点云掩模以双向合并的方式进行合并，最终可以将不同帧预测出的 3D 掩模逐渐合并为整个 3D 场景的 3D 掩模，实验结果表明 SAM3D 能够在不需要对 SAM 进行训练或微调的情况下，实现合理和细粒度的 3D 分割结果。
3d point cloudssegment-anything modelrgb imagessegmentation masksscannet dataset
发现论文，激发创造
  • SAM3D：零射击半自动三维医学图像分割

    SAM3D 是一种新的半自动零射击 3D 图像分割方法，通过现有的任意分割模型，利用四步策略实现在 3D 图像中快速且准确的分割，可以帮助手术规划和教育、诊断成像以及科学研究。

    May, 2024

  • Point-SAM: 可提示的点云三维分割模型

    通过使用基于 Transformer 的方法在 3D 空间中扩展了 Segment Anything Model（SAM），我们提出了一种 3D 可提示分割模型（Point-SAM），利用部分级和对象级注释，从 SAM 中生成伪标签，将 2D 知识提取到我们的 3D 模型中，并在室内和室外基准测试中优于最先进的模型，展示了多种应用，如 3D 标注。

    Jun, 2024

  • SAM3D：三维医学图像中的分割模型

    借鉴了 Segment Anything Model (SAM) 的方法，我们提出了 SAM3D，该方法针对 3D 体积医学图像，利用 SAM 编码器的预训练特征来捕捉输入图像的意义表示，并通过整体处理 3D 图像而避免了大量参数的训练，实验结果表明，在 3D 医学分割任务中，我们的网络相对于其他最先进的方法具有竞争力且参数效率明显。

    Sep, 2023

  • 使用 NeRFs 对 3D 中的任何物体进行分割

    该研究提出了一个用于三维分割的新框架 SA3D，通过密度导向的反渲染将 2D 分割蒙版投影到 3D 蒙版网格，再通过迭代的方式学习准确的 3D 分割结果，实验表明 SA3D 在不同场景下的有效性。

    Apr, 2023

  • SAI3D：在 3D 场景中分割任意实例

    SAI3D 是一种新颖的零样本三维实例分割方法，通过整合来自 Segment Anything Model (SAM) 的几何先验和语义线索，将三维场景划分为几何原语，然后逐步合并为与多视角 SAM 掩码一致的三维实例分割。通过具有动态阈值机制的分层区域增长算法，进一步提升细粒度三维场景解析的鲁棒性。在 Scan-Net 和更具挑战性的 ScanNet++ 数据集上进行的实证评估表明，我们的方法优于现有的开放词汇基准线，并在 ScanNet++ 上的类别不可知分割中甚至超过了全监督方法。

    Dec, 2023

  • SAD：RGBD 分割

    该研究通过提出 Segment Any RGBD（SAD）模型来解决 Segment Anything Model（SAM）对几何信息关注不足的问题，该模型将 SAM 与深度图像渲染相结合，同时包括了开放词汇的语义分割，实现了 3D 万象分割。

    May, 2023

  • SAM3D：基于 Segment Anything 模型的零样本三维物体检测

    本研究旨在将基础模型的能力发挥在 3D 视觉任务中，在通过 SAM 提出的 BEV 流程管道构建的基础上，通过提高零样例能力实现 3D 物体检测，将其应用于 Waymo 开放数据集，展示其可行性。

    Jun, 2023

  • SAM-Med3D

    该研究提出了 SAM-Med3D，对 3D 医学图像进行了全面研究和修正，通过训练在大规模数据集上的全面处理的 3D 体系结构，提供了全面的性能评估。与 SAM 相比，SAM-Med3D 在三维体积医学图像的分割能力和效率上都具有显著的增强。

    Oct, 2023

  • SAMPro3D：用于零样本场景分割的三维 SAM 提示定位

    我们引入了 SAMPro3D 来进行零样本 3D 室内场景分割，通过将预训练的 Segment Anything Model (SAM) 应用于 2D 帧，在 3D 点云和多个姿态的 2D 帧的基础上对 3D 场景进行分割。我们的关键思想是将场景中的 3D 点作为自然的 3D 提示，对其在帧间的投影像素提示进行对齐，确保像素提示和其通过 SAM 预测的掩码在帧间的一致性。此外，我们建议根据所有 2D 帧的反馈滤除低质量的 3D 提示，以提高分割质量。我们还建议，如果不同的 3D 提示正在分割相同的对象，要进行融合，实现更全面的分割。值得注意的是，我们的方法不需要在领域特定数据上进行额外的训练，从而保留了 SAM 的零样本能力。广泛的定性和定量结果显示，我们的方法始终比先前的零样本或完全监督方法具有更高的质量和更多样的分割性能，在许多情况下甚至超过人类级别的注释。项目页面可以通过此 https URL 访问。

    Nov, 2023

  • 开放词汇 SAM3D：理解任何三维场景

    OV-SAM3D 是一个通用框架，用于不需要训练即可理解任何 3D 场景的开放词汇三维场景理解，通过使用 Segment Anything Model (SAM) 生成超点并通过 Recognize Anything Model (RAM) 的开放标签和操作表，结合超点和分割掩模生成最终的 3D 实例，经过对 ScanNet200 和 nuScenes 数据集的实证评估，我们的方法在未知的开放世界环境中超越了现有的开放词汇方法。

    May, 2024