Dec, 2023

多模态亲和推断弱监督 3D 语义分割

PDF
TL;DR本文提出了一种简单而有效的基于场景级弱监督的点云分割方法，引入了多模态点亲和度推理模块，利用从多个模态（如点云和 RGB）得到的特征来特征化提出的点亲和度，并通过归一化分类器权重来减轻长尾分布的不利影响，无需事先知道类别分布的先验信息。通过在 ScanNet 和 S3DIS 基准测试上进行的大量实验证实了我们提出方法的有效性，其 mIoU 指标优于现有技术水平 4% 至 6%。
3d point cloud semantic segmentationweakly supervisedpoint affinitymulti-modalitylong-tailed distribution
发现论文，激发创造
  • 基于多路径区域挖掘的弱监督 3D 空间点云语义分割

    本研究提出了一种利用弱标签预测三维点云中点级结果的方法，使用分类网络训练生成伪点级标签，再使用点级伪标签以全监督方式训练点云分割网络，实验结果在 ScanNet 数据集上证明了该方法的有效性。

    Mar, 2020

  • 基于弱监督的语义点云分割：朝着少 10 倍标签的方向发展

    本论文提出了一种弱监督点云分割方法，可以在训练阶段仅标记极少量点，通过学习梯度近似和利用额外的空间和颜色平滑约束来实现，性能接近或甚至优于全监督的方法，具有很高的实用性。

    Apr, 2020

  • 大规模点云的弱监督语义分割

    本文提出了一种基于自我监督学习的弱监督方法解决大规模点云语义分割的问题，采用点云着色作为预处理任务，通过生成类原型的方式生成伪标签，并提出了一种稀疏标签传播机制，该方法在室内外不同情景的大规模点云数据集上得到了更好的弱监督结果和与完全监督方法可比的结果。

    Dec, 2022

  • 大规模三维语义分割中的野外多视角聚合学习

    本文提出了一种端到端可训练的多视角聚合模型，利用 3D 点的视角优势，从任意位置拍摄的图像中合并特征，将标准 2D 和 3D 网络相结合，不需要着色、上网格或真实深度图，我们在 S3DIS 和 KITTI-360 数据集上取得了新的最佳效果。

    Apr, 2022

  • 少样本 3D 点云语义分割

    为了解决 3D 点云语义分割中数据有限和模型泛化性能差的问题，本文提出了一种基于注意力机制多突出物体的跨导语义分割方法，并在各种 Few-shot 点云语义分割场景下取得了显著的效果提升。

    Jun, 2020

  • 多尺度稀疏卷积的多尺度亲和力用于三维实例分割

    该研究提出了一种基于稀疏卷积和点亲和力预测的 3D 实例分割新方法，通过简单而有效的聚类算法，在 ScanNet 基准测试上大幅优于现有的方法。

    Feb, 2019

  • 深度投影三维语义分割

    本文提出了一种基于 2D-CNN 和多模态网络架构的点云语义分割方法，将点云数据投影到 2D 平面，避免了 3D-CNN 方法中立方体体素化降低空间分辨率和增加内存消耗的限制，并在 Semantic3D 数据集上达到了相对增益 7.9％的最新最佳结果。

    May, 2017

  • 基于点云语义分割的多到单知识蒸馏

    本文提出了一种基于多源知识蒸馏的 3D 点云语义分割方法，采用多到单的融合方式，通过实例感知亲和性蒸馏算法获取高级结构知识，实现对于难分类类别的提升。在 SemanticKITTI 数据集中实验证明，该方法在验证集和测试集上均显著优于基线方法。

    Apr, 2023

  • 基于图像级别监督学习像素级语义相似性用于弱监督语义分割

    本文提出了一种用于弱监督下的图像标注的全新框架 ——AffinityNet。该框架通过训练一个深度神经网络，使其能够预测一对相邻图像坐标之间的语义亲和性，从而通过随机游走来实现语义的传播，以生成图像的分割标签。实验表明，使用我们的方法生成的分割标签训练的 DNN，甚至比其它依赖于更强监管的模型表现更为优秀。

    Mar, 2018

  • SQN: 大规模 3D 点云弱监督语义分割

    使用 Semantic Query Network 方法，只需要对点云的 0.1% 进行随机注释，就可以实现对七个大规模开放数据集的弱监督语义分割，从而极大地减少注释成本和工作量。

    Apr, 2021