Apr, 2024

基于基础模型的弱监督激光雷达语义分割

PDF
TL;DR本文提出了使用散点图对图像进行注释，然后利用 SAM（一种基本模型）为图像生成语义分割标签。通过使用相机和 LiDAR 的内在和外在参数将图像的分割标签映射到 LiDAR 空间，我们获得了点云语义分割的标签，并发布了 Scatter-KITTI 和 Scatter-nuScenes，这是第一个利用基于图像分割的 SAM 进行弱监督点云语义分割的作品。此外，为了减小稀疏注释获取的错误伪标签对点云特征的影响，我们提出了一种用于 LiDAR 语义分割的多模态弱监督网络，称为 MM-ScatterNet。该网络通过引入多模态特征和点云特征之间的一致性约束，增强了点云的表示学习。在 SemanticKITTI 数据集上，我们仅使用 0.02％的注释数据就实现了 66％的全监督性能，在 NuScenes 数据集上，仅使用 0.1％的标记点就实现了 95％的全监督性能。
point cloud semantic segmentationlidarannotating imagesscatter-kittimm-scatternet
发现论文，激发创造
  • 手绘辅助的激光雷达语义分割

    本研究提出使用涂鸦来注释 LiDAR 点云，并发布 ScribbleKITTI，这是第一个用于 LiDAR 语义分割的涂鸦注释数据集。此外，我们提出了一个流程来减少使用此类弱标注时出现的性能差距。我们的涂鸦注释和代码可在 github.com/ouenal/scribblekitti 上获取。

    Mar, 2022

  • 一种新的弱监督方法用于 ALS 点云语义分割

    本文提出了一种基于深度学习的弱监督 ALS 点云语义分割框架，在不完整和稀疏标记的未标记数据中利用潜在信息。通过熵正则化、一致性约束和在线软伪标记策略等，显著提高了分类性能，且效率高于当前弱监督方法。ISPRS 3D Labeling Vaihingen 数据集上，该方法只使用 0.1％ 的标记，达到了 83.0％ 的总体精度和 70.0％ 的平均 F1 分数，相较于只使用稀疏标记信息的模型，其提高了 6.9％ 和 12.8％。

    Oct, 2021

  • 大规模点云的弱监督语义分割

    本文提出了一种基于自我监督学习的弱监督方法解决大规模点云语义分割的问题，采用点云着色作为预处理任务，通过生成类原型的方式生成伪标签，并提出了一种稀疏标签传播机制，该方法在室内外不同情景的大规模点云数据集上得到了更好的弱监督结果和与完全监督方法可比的结果。

    Dec, 2022

  • 基于弱监督的语义点云分割：朝着少 10 倍标签的方向发展

    本论文提出了一种弱监督点云分割方法，可以在训练阶段仅标记极少量点，通过学习梯度近似和利用额外的空间和颜色平滑约束来实现，性能接近或甚至优于全监督的方法，具有很高的实用性。

    Apr, 2020

  • 通过从场景完成中学习上下文形状先验进行稀疏单遍 LiDAR 点云分割

    本文提出了一种基于学习的语义分割框架，其利用上下文形状先验知识，在 LiDAR 点云序列的帮助下将单个点云序列完成从稀疏的单扫描点云到密集的点云的语义分割任务，并在 SemanticKITTI 和 SemanticPOSS 数据集上取得了显著的性能提升。

    Dec, 2020

  • 半监督 LiDAR 语义分割的 LaserMix

    本文提出了 LaserMix 机制，利用 LiDAR 点云的强空间线索来更好地利用未标记的数据，实现 LiDAR 半监督分割，并在三个数据集上进行了全面的实验分析，结果表明 LaserMix 具有竞争性且有效。

    Jun, 2022

  • 半监督学习在动态场景三维 LiDAR 数据语义分割中的应用

    本文研究在自动驾驶应用中对动态场景中的 3D LiDAR 数据进行语义分割。通过使用 3D LiDAR 数据，构建了一个包括范围图像分割、样本生成、数据关联、跟踪级别注释和半监督学习等方面的语义分割系统，使用半监督学习并结合约束数据和少量标注数据对 CNN 分类器进行训练，设计了一种特殊的损失函数，其中鼓励将约束数据分配到同一语义类别。实验表明，少量标注和大量约束数据的组合显著提高了该方法的有效性和场景适应性，效果比以往的方法提高了 10% 以上。

    Sep, 2018

  • 简化：降低 3D 点云语义分割的任务和模型复杂度

    本文提出了一种基于稀疏深度可分离卷积模块的新型管道，该管道通过减少网络参数数量并保留整体任务性能，需要更少的地面真实注释来实现优越的分割准确性，并提出了一个新的用于处理 3D LiDAR 点云数据的样本下采样方法，与现有方法相比具有更好的性能，同时在有限的训练数据上也表现出显着的性能提高。

    Mar, 2023

  • 一种用于机器人大规模 LiDAR 场景解析的高效框架

    本文介绍了一种在有限标签情况下解决点云理解问题的通用简单框架，通过无监督区域扩展的聚类方法生成聚类，并结合地理特征相似性和语义特征相似性在弱标签监督下学习合并过度细分的聚类，以及自监督重建和数据增强优化模块引导标签在场景中语义相似点之间的传播。实验证明，该框架在大规模 3D 语义场景解析的数据效率设置下，在语义分割、实例分割和目标检测等三个重要弱监督点云理解任务中表现最佳，所开发技术还具有对机器人操作和自主导航中的下游任务提供更好表示的潜力。代码和模型可在链接处公开获取。

    Dec, 2023

  • 基于伪标签辅助学习的弱监督 ALS 点云语义分割

    本文提出的伪标签辅助点云分割方法，可使用非常少的弱标签 (稀疏采样的) 以较低的标注成本获得与全监督方案相同的结果，并且提出了自适应阈值策略来生成基于预测概率的伪标签进行学习。实验证明，本方法在 ISPRS 3D 语义标注基准数据集上取得了 83.7% 的整体准确率和 70.2% 的平均 F1 分数。

    May, 2021