Sep, 2023

3D 边界框与 SAM 相遇：弱噪声监督下的点云实例分割

PDF
TL;DR通过使用预先训练的 2D 基础模型 SAM 和 3D 几何先验，本文提出了一个互补的图像提示引导的弱监督点云实例分割（CIP-WPIS）方法，用于从边界框注释中准确地获取点云实例标签。通过在 3D 候选点的全可见图像视图中选择，我们生成互补的背景和前景提示，并通过这些提示对点进行置信度分配，使用超点提供的 3D 几何均匀性来决定最终实例标签分配。通过大量实验证明，我们的方法对于嘈杂的 3D 边界框注释具有鲁棒性，并实现了最先进的性能。
weakly-supervised point cloud instance segmentationbounding box annotationscomplementary image prompt-induced weakly-supervised point cloud instance segmentationsam3d geometric homogeneity
发现论文，激发创造
  • LWSIS: 基于 LiDAR 指导的自动驾驶弱监督实例分割

    本文提出了一个基于 LiDAR 导引的弱监督实例分割框架，利用点云和三维框作为自然的弱监督信息代替 2D 遮罩标注，有效利用不同模态数据进行训练，并大幅度减少了 2D 遮罩的注释成本。该框架包含两个关键模块：点标签分配（PLA）和基于图形的一致性正规化（GCR），并在 nuScenes 和 Waymo 上进行了广泛实验。

    Dec, 2022

  • 无实例级注释的弱监督三维实例分割

    通过使用弱监督的三维实例分割方法，只需要分类语义标签作为监督，而无需实例级别标签，从而减少批注成本，并利用伪实例标签辅助现有方法学习三维实例分割。

    Aug, 2023

  • 点在细节中见魔鬼：基于点引导遮罩表示的弱半监督实例分割

    本文提出了一种名为 WSSIS 的学习方法，使用点标签实现高效的实例分割，同时引入 MaskRefineNet 来处理少量标签数据的情况，并在 COCO 数据集上进行了丰富的实验，获得了比当前半监督方法更好的表现 (33.7% vs. 24.9%)，代码提供在 https URL 上。

    Mar, 2023

  • MWSIS: 基于 2D 边框标注的多模态弱监督实例分割在自动驾驶中的应用

    通过应用弱监督方法和多模态跨模态监督，同时利用 2D 和 3D 注释来提高伪标签的质量，该研究提出了一种名为 MWSIS 的新型框架，可在自动驾驶等领域中进行实例分割，从而显著提高性能并降低注释成本。

    Dec, 2023

  • 弱监督参照图像分割的课程点提示

    通过引用图像分割技术（RIS），本文提出了一种创新框架 Point PrompTing（PPT），并结合了多源课程学习策略来解决以往弱监督技术中面临的噪声和过度关注问题，实验证明 PPT 在 RefCOCO、RefCOCO + 和 G-Ref 上的 mIoU 分别比现有技术高出 11.34％、14.14％和 6.97％。

    Apr, 2024

  • 弱监督实例分割的完整实例挖掘

    利用只有图像级别标签的弱监督实例分割（WSIS）是一项具有挑战性的任务，但随着深度神经网络（DNNs）的进步，WSIS 已经引起了广泛关注。我们提出一种新颖的 WSIS 方法，通过使用 MaskIoU 头部预测 proposal 的完整度得分，采用完整实例挖掘（CIM）策略来显式建模冗余分割问题并生成精炼的伪标签。我们的方法在 PASCAL VOC 2012 和 MS COCO 数据集上实证评估，并取得了超过当前最先进方法的性能。

    Feb, 2024

  • 基于语义感知的点提示实例分割及验证

    使用 Segment Anything (SAM) 集成 Multiple Instance Learning (MIL) 的 Semantic-Aware Instance Segmentation Network (SAPNet) 有助于解决弱监督分割中 'group' 和 'local' 问题，提高语义匹配能力和基于点提示的实例分割性能。

    Dec, 2023

  • 增加标签密度：使用二部图匹配进行无监督聚类的弱监督点云分割

    我们提出了一种弱监督的语义分割方法，能够通过整体场景标注来预测点云的点级标签，同时达到与最近的全监督方法相当的性能。我们的核心思想是通过保守的方式将场景级标签传递给点云中的每个点，即通过无监督聚类进行过分割，通过二分匹配将场景级标签与簇关联，从而仅将场景标签传递给与之最相关的簇，其余部分则完全由无监督聚类引导。我们通过实验证明过分割和二分分配起着至关重要的作用。我们在 ScanNet 和 S3DIS 数据集上评估了我们的方法，在性能上优于现有技术，并证明我们可以达到与全监督方法相当的结果。

    Dec, 2023

  • 点级监督实例分割

    提出了基于单点标注的弱监督实例分割方法，通过该方法，仅标注每个物体的随机 10 个点就能够达到 94% 至 98% 的全监督效果，比全物体标注的方法快 5 倍，同时提出了一种新的基于点标注的 PointRend 实例分割模型，称为 Implicit PointRend。

    Apr, 2021

  • Point-SAM: 可提示的点云三维分割模型

    通过使用基于 Transformer 的方法在 3D 空间中扩展了 Segment Anything Model（SAM），我们提出了一种 3D 可提示分割模型（Point-SAM），利用部分级和对象级注释，从 SAM 中生成伪标签，将 2D 知识提取到我们的 3D 模型中，并在室内和室外基准测试中优于最先进的模型，展示了多种应用，如 3D 标注。

    Jun, 2024