Apr, 2023

通过跨模态蒸馏和超体素聚类进行三维点云的无监督语义分割

PDF
TL;DR本文提出了一个名为 PointDC 的新型分割框架，通过两个阶段的处理（CMD 和 SVC），实现在不使用任何形式的注释的情况下的点云全自动无监督语义分割。该框架在 ScanNet-v2 和 S3DIS 两种数据集上均优于以往的无监督学习方法，分割性能显著提高。
semantic segmentationunlabeled learningpoint cloudscross-modal distillationsuper-voxel clustering
发现论文，激发创造
  • U3DS$^3$: 无监督的三维语义场景分割

    针对任何整体三维场景，本论文提出了 U3DS$^3$ 作为一个完全无监督的点云分割方法，通过利用点云的固有信息来实现全三维场景分割，并且在 ScanNet、SemanticKITTI 和 S3DIS 数据集上提供了最新的研究成果和具有竞争力的结果。

    Nov, 2023

  • CrossPoint: 自监督的跨模态对比学习，用于三维点云理解

    本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。

    Mar, 2022

  • 自动驾驶的 3D 无监督学习：通过提炼 2D 开放词汇分割模型实现

    提出了一种由 2D 开放词汇的分割模型辅助的新型三维无监督框架（UOV），通过学习未标注数据的点云表征，采用了两个阶段：首先，创新地结合了 2D 开放词汇模型的高质量文本和图像特征，提出了三模态对比预训练（TMP）；其次，利用点云和图像之间的空间映射生成伪标签，实现异态知识蒸馏。并引入了近似平面交互（AFI）来解决对齐噪声和标签混淆问题。在多个相关数据集上进行了大量实验证明了 UOV 的优越性，在 nuScenes 的无需标注的点云分割任务上，实现了创纪录的 47.73% 的 mIoU，超过了之前最好模型 10.70% 的 mIoU。同时，在 nuScenes 和 SemanticKITTI 上使用 1% 的数据进行微调，取得了显著的 51.75% 和 48.14% 的 mIoU，超过了所有之前的预训练模型。

    May, 2024

  • 深度投影三维语义分割

    本文提出了一种基于 2D-CNN 和多模态网络架构的点云语义分割方法，将点云数据投影到 2D 平面，避免了 3D-CNN 方法中立方体体素化降低空间分辨率和增加内存消耗的限制，并在 Semantic3D 数据集上达到了相对增益 7.9％的最新最佳结果。

    May, 2017

  • 基于域自适应的 LiDAR 点云语义分割完成与标注

    本文利用 3D 点云中表面稀疏采样的特征，引入稀疏体素完成网络 (SVCN) 进行前景表面的完成。同时，我们使用局部对抗学习构建 3D 表面的先验知识。结果表明，在处理不同 LiDAR 传感器数据的跨域语义分割问题时，我们提出的方法比现有方法提高了 8.2%-36.6% 的分类性能。

    Jul, 2020

  • 半监督点云语义分割的引导点对比学习

    本文介绍了一种半监督点云语义分割方法，使用伪标签指导其损失函数，并提出了一种基于对比损失的方法来增强特征表示和模型的泛化能力。实验证明，该方法在三个数据集上都可以有效地提高预测质量。

    Oct, 2021

  • 跨模态和跨域知识迁移对无标签 3D 分割

    通过探索图像和点云之间的关系并设计有效的特征对齐策略，我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务，在没有任何 3D 标签的情况下，我们的方法利用 KITTI360 和 GTA5 的知识，在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能，相比现有的无监督和弱监督基准。

    Sep, 2023

  • 基于点云到体素的知识蒸馏技术用于 LiDAR 语义分割

    本文提出了一种基于点到体素知识蒸馏的方法，通过将隐藏层的知识从点级别和体素级别进行转移，采用困难感知的采样策略和点 - 体素相似度蒸馏，提高了 LiDAR 语义分割任务中教师模型向学生模型的知识压缩效果，同时在两个流行的基准数据集上实现了优于现有方法的精度和速度。

    Jun, 2022

  • 更多观点，更多了解：通过多模态视觉数据进行零样本点云分割

    零射点云分割方法探索了如何识别在训练阶段未见过的点云中的新物体，并利用深度模型从已标记的已知类别转移知识到未标记的未知类别，提出了一种新颖的多模态零射学习方法，以更准确地对齐视觉和语义特征，在两个流行的基准数据集 SemanticKITTI 和 nuScenes 上进行的实验表明，我们的方法在未见类别 mIoU 上分别取得了 52% 和 49% 的提升，超过了当前的最佳方法。

    Jul, 2023

  • 基于点云语义分割的多到单知识蒸馏

    本文提出了一种基于多源知识蒸馏的 3D 点云语义分割方法，采用多到单的融合方式，通过实例感知亲和性蒸馏算法获取高级结构知识，实现对于难分类类别的提升。在 SemanticKITTI 数据集中实验证明，该方法在验证集和测试集上均显著优于基线方法。

    Apr, 2023