Segment3D: 无需手动标注的细粒度类别无关三维分割学习

Dec, 2023

Segment3D: 无需手动标注的细粒度类别无关三维分割学习

Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without Manual Labels

Rui Huang, Songyou Peng, Ayca Takmaz, Federico Tombari, Marc Pollefeys...

TL;DR通过引入 2D 模型的特性，我们提出了 Segment3D 方法，用于生成高质量的 3D 场景分割掩码，从而实现对于细粒度掩码的改进，并且能够轻松添加新的训练数据以进一步提升分割性能，而无需手动标注训练标签。

Abstract

Current 3d scene segmentation methods are heavily dependent on manually annotated 3D training datasets. Such manual annotations are labor-intensive, and often lack fine-grained details. Importantly, models trained on this data typically struggle to recognize object classes beyond the a

3d scene segmentation manually annotated datasets generalization zero-shot abilities image segmentation

发现论文，激发创造

基于深度学习的三维分割：一份调查报告

综述了近期基于深度学习的三维物体分割，涵盖了 150 多篇文章，总结了最常用的算法流程、讨论了它们的优缺点，并分析了这些分割方法的竞争结果，最后提出了未来的研究方向。

Mar, 2021

VISTA3D：一种用于 3D 计算机断层扫描的多功能影像分割和注释模型

3D CT 分割基础模型应具备一次准确性能和自适应能力，而 VISTA3D 模型在系统训练时能够提供准确的立即分割，并实现了最先进的三维零交互分割。

Jun, 2024

PointSeg：基于基础模型的三维场景分割的非训练范式

PointSeg 是一种新的无需训练的范例，借助现有的视觉基础模型来解决 3D 场景感知任务，并展示了令人印象深刻的分割性能。

Mar, 2024

利用大规模预训练视觉基础模型进行高效标签的 3D 点云分割

通过采用大规模预训练模型、计算机视觉和 2D 任务，本研究提出了一种新的框架来解决 3D 点云分割任务，通过将 2D 语义分割预测投影到 3D 空间，并引入语义标签融合策略，实现了在扩展的数据集上的 3D 场景理解。

Nov, 2023

只利用 2D 图像监督学习 3D 语义分割

本文提出了一种基于 2D 图像标注来训练 3D 语义分割模型的方法，使用多视角融合来生成伪标签，并解决了选择可信的伪标签、较少目标分类、在训练过程中如何脱离 2D 图像等问题。实验结果表明，所提出的 2D3DNet 网络在一个新的城市数据集上的表现显著优于基线方法。

Oct, 2021

基于基础模型的 3D 开放词汇分割

本研究利用预训练的 CLIP 和 DINO 模型的多模式知识和物体推理能力来解决三维开放式词汇分割的挑战。通过优化神经辐射场 (NeRF) 并引入相应的损失函数，本研究在无需进行微调的情况下，以开放式视觉和文本知识为先验知识，从 2D 特征中提取出 3D 分割特征。通过实验验证，本研究所提出的方法在无需分割注释的情况下，甚至优于完全监督的分割模型训练，表明三维开放式词汇分割可以有效地从 2D 图像和文本图像对中学到。

May, 2023

学习三维物体的细粒度分割，无需部件标签

本文介绍了一种以深度聚类为基础的三维形状部分分割方法，通过学习来自具有细颗粒度分割但没有零件标签的形状数据集的部分先验，它通过最小化新型低秩损失来实现部分分割并表现出优秀的性能。

Mar, 2021

OneSeg: 基于自学习和单次学习的用于 3D 医学图像分割的单切片标注

提出了一种基于自学习和单次学习的框架，用于 3D 医学图像分割，仅注释每个 3D 图像的一个切片以显著减少注释工作量并获得与完全监督方法相媲美的性能。

Sep, 2023

OpenMask3D: 开放式词汇的三维实例分割

本研究介绍了一种开放词汇的 3D 实例分割任务，使用零样本学习来提高模型在目标实例分割方面的泛化性，并设计了 OpenMask3D 方法，该方法使用预测的类别不可知的 3D 实例掩码来聚合每个掩码的特征，通过多视图融合和基于 CLIP 的图像嵌入来提高分割的性能。

Jun, 2023

跨越领域鸿沟：基于基础模型的自监督三维场景理解

该论文介绍了一种名为 Bridge3D 的创新方法，通过预训练使用基础模型的特征、语义掩码和说明来预训练 3D 模型，从而增强 3D 场景表示学习，包括使用基础模型的语义掩码来指导掩码和重建过程。此外，作者还介绍了一种新方法，使用基础模型生成高精度的物体级掩码和语义文本信息，进一步促进基础 2D 和文本表示向 3D 模型的知识转移。该方法在 3D 对象检测和语义分割任务中优于现有的最先进方法，在 ScanNet 数据集上的最佳结果超过之前的最优方法 PiMAE 5.3%。

May, 2023