Dec, 2023

基于 SAM 引导的图割算法的三维实例分割

PDF
TL;DR本文通过同时利用 3D 几何和多视角图像信息来解决 3D 实例分割的挑战，引入了一种新颖的 3D 到 2D 查询框架来有效地利用 2D 分割模型进行 3D 实例分割，并通过图切割问题和图神经网络来实现场景的超点图构建和处理。实验结果表明该方法在不同类型的场景中都能实现强大的分割性能和泛化能力。
3d instance segmentationdeep learning techniques2d instance segmentationsgraph cut problemgraph neural network
发现论文，激发创造
  • SAI3D：在 3D 场景中分割任意实例

    SAI3D 是一种新颖的零样本三维实例分割方法，通过整合来自 Segment Anything Model (SAM) 的几何先验和语义线索，将三维场景划分为几何原语，然后逐步合并为与多视角 SAM 掩码一致的三维实例分割。通过具有动态阈值机制的分层区域增长算法，进一步提升细粒度三维场景解析的鲁棒性。在 Scan-Net 和更具挑战性的 ScanNet++ 数据集上进行的实证评估表明，我们的方法优于现有的开放词汇基准线，并在 ScanNet++ 上的类别不可知分割中甚至超过了全监督方法。

    Dec, 2023

  • 基于 Superpoint 图的大规模点云语义分割

    该研究提出了一种基于深度学习的新框架，用于解决数百万点的大规模点云的语义分割挑战。该框架使用超级点图和图卷积网络等技术，取得了室内和户外 LiDAR 扫描分割方面的新成果。

    Nov, 2017

  • 野外场景三维图结构点云的弱监督语义分割

    提出了一种基于 2D 监督的新型深度图卷积网络框架，用于大规模语义场景点云的分割，通过 Graph-based Pyramid Feature Network 和 Observability Network 可以隐式推断点集的全局和局部特征，并提出了一个 2D-3D 联合优化策略用于优化投影过程中的语义信息的加入， 即使只有单个训练样本的情况下，也能够进行自然场景下的 3D 分割训练，扩展实验在 SUNCG 和 S3DIS 数据集上证明了这种 2D 监督框架在语义点云分割方面的有效性。

    Apr, 2020

  • 学习在 2D 图像空间中分割 3D 点云

    本文研究了点云数据如何被有效和高效地投影到 2D 图像空间中，以便于利用传统的 2D 卷积神经网络进行分割，通过引入具有拓扑结构保持特性的图形处理方法，并使用分层逼近算法，结合 Delaunay 三角剖分技术和多尺度 U-Net 网络进行图像分割，取得了 ShapeNet 和 PartNet 的最新成果。

    Mar, 2020

  • 基于图结构深度度量学习的点云过分割

    本文提出了一种新的监督学习框架，用于将 3D 点云超分割成超点，并且利用局部几何和辐射度的深度嵌入来计算超点，从而使对象的边界呈现高对比度。该方法可以显著地提高点云超分割结果，并且可以用于改善基于超点的语义分割算法。

    Apr, 2019

  • 可扩展的超点图聚类三维全景分割

    介绍了一种高效的方法，通过将大型 3D 点云的全景分割任务重新定义为可扩展的图聚类问题来进行。该方法可以仅使用本地辅助任务进行训练，从而在训练过程中消除了资源密集型的实例匹配步骤。此外，我们的方法可以轻松适应 superpoint 范例，进一步提高其效率。这使得我们的模型能够在单次推理中处理具有数百万个点和数千个对象的场景。我们的方法（SuperCluster）在两个室内扫描数据集（S3DIS Area 5 的 PQ 指标为 50.1（+7.8），ScanNetV2 的 PQ 指标为 58.7（+25.2））上实现了全景分割的最新性能。此外，我们还在两个大规模移动映射基准测试（KITTI-360 和 DALES）中取得了首个最先进的结果。我们的模型仅有 209k 个参数，比最佳竞争方法小 30 倍，训练速度最高提高 15 倍。我们的代码和预训练模型可在此 https URL 获取。

    Jan, 2024

  • 一个统一的基于点的 3D 分割框架

    针对 3D 点云的分割问题，我们提出了一种新的点云分割框架，该框架能有效地优化整个场景的像素级特征，几何结构和全局上下文先验。实验结果表明，该方法优于现有的一些最先进的方法，并探讨了在三维重建场景中合成相机姿态以获得更高的性能。

    Aug, 2019

  • gcDLSeg：将图割集成到深度学习中实现二元语义分割

    通过将图割方法与深度学习网络相结合，本研究提出了一种新颖的残差图割损失和准残差连接，实现了有效的特征学习和导向图割分割模型的梯度反向传播，在数据集上验证了良好的分割准确性和对抗性攻击的提高。

    Dec, 2023

  • AutoInst: LiDAR 3D 扫描的自动实例分割

    通过无监督学习的方法，使用 LiDAR 传感器，构建了一个算法来预测 3D 场景中的实例分割，其中通过权重代理图生成 3D 实例掩模建议，并使用自我训练算法对初始嘈杂的提议进行强化，以生成场景级实例分割。在 SemanticKITTI 基准测试中，该方法相较于最佳基准模型获得了 13.3% 的平均准确率和 9.1% 的 F1 分数提升。

    Mar, 2024

  • Point-SAM: 可提示的点云三维分割模型

    通过使用基于 Transformer 的方法在 3D 空间中扩展了 Segment Anything Model（SAM），我们提出了一种 3D 可提示分割模型（Point-SAM），利用部分级和对象级注释，从 SAM 中生成伪标签，将 2D 知识提取到我们的 3D 模型中，并在室内和室外基准测试中优于最先进的模型，展示了多种应用，如 3D 标注。

    Jun, 2024