Sep, 2023

通过自注意力和多尺度改进室内点云语义和实例分割的 JSMNet

PDF
TL;DR室内 3D 点云数据的语义理解对于室内服务机器人、导航系统和数字孪生工程等一系列后续应用非常重要。我们提出了一种名为 JSMNet 的方法，它结合了多层网络和全局特征自注意力模块，共同分割三维点云的语义和实例。通过设计了一个多分辨率特征自适应融合模块，以考虑由于传感器距目标的距离不同而导致的点云密度差异，更好地表达了室内目标的特性。此外，我们提出了一种联合语义和实例分割的框架，通过整合语义和实例特征实现更优的结果。我们在 S3DIS 上进行了实验证明，我们的方法与其他方法进行了比较，结果显示在语义和实例分割以及目标局部区域分割方面，我们的方法优于现有方法。具体而言，在 S3DIS（Area 5）的语义分割 mIoU 方面，我们的方法在 PointNet (Qi et al., 2017a) 上表现优异，提高了 16.0%，在实例分割 mPre 方面提高了 26.3%。此外，在语义分割 mIoU 方面，我们的方法超过了 ASIS (Wang et al., 2019) 6.0% 和 JPSPNet (Chen et al., 2022) 3.3%，在实例分割 mPre 方面略微提高了 0.3%。
发现论文，激发创造
  • JSNet: 3D 点云的联合实例和语义分割

    提出了一种新的联合实例和语义分割方法，称为 JSNet，以同时处理 3D 点云的实例和语义分割。该方法包括构建一个有效的主干网络，通过点云特征融合模块融合主干网络的不同层特征以及开发联合实例语义分割模块，把语义特征转换成实例嵌入空间并将其与实例特征相结合以促进实例分割，并将实例特征聚合到语义特征空间以促进语义分割，最后采用简单的均值漂移聚类生成实例预测。实验结果表明，提出的 JSNet 在 3D 实例分割方面比现有方法表现更好，在 3D 语义预测方面也有显著改善，并且还有益于部分分割。

    Dec, 2019

  • JSIS3D：基于多任务点网络和多值条件随机场的三维点云联合语义实例分割

    本文提出了一种用于 3D 点云的多任务点位网络，实现了语义和实例分割，并比较了不同数据集上的表现。与单一组件相比，我们的方法表现出了更好的鲁棒性和语义分割性能，使用了多值条件随机场进行语义与实例标签联合优化。

    Apr, 2019

  • 点云联合实体实例化和语义分割的自预测

    我们提出了一种名为 Self-Prediction 的学习模式，用于处理点云的三维实例和语义分割问题。我们的方法强调了点关系探索方面的新学习模式，与大多数现有方法不同，该方法通过自我预测任务来训练骨干网络，从而使模型更好地探索关系、几何和形状信息并学习更具有区分性的特征进行分割，实现了在 S3DIS 和 ShapeNet 上实例分割结果的最先进性，并只使用 PointNet ++ 作为骨干网络时与现有技术的语义分割结果相当。

    Jul, 2020

  • JSENet: 用于 3D 点云的联合语义分割和边缘检测网络

    本研究通过设计一个新的两流全卷积网络，提出了一个联合学习方法来同时处理 3D 语义分割和 3D 语义边缘检测问题，特别是设计了一个联合调优模块来明确地连接区域信息和边缘信息，通过提出的新型损失函数，实现了更好的语义分割结果的同时改善边缘信息，结果显示该方法在 S3DIS 和 ScanNet 数据集上获得了与最先进方法相当或更好的性能，优于语义边缘检测的基准方法。

    Jul, 2020

  • PointGroup: 用于三维实例分割的双集合点聚类

    PointGroup 是一种新的端到端自下而上架构方法，专为更好地通过探索对象之间的空白空间对点进行分组而设计，通过两个分支网络提取点特征并预测语义标签与偏移量，利用原始和偏移移动的点坐标集，使用 ScoreNet 评估候选实例，并使用 NMS 消除重复。与先前的最佳解决方案相比，PointGroup 在 ScanNet v2 和 S3DIS 数据集上都取得了高性能，分别为 63.6％和 64.0％，而前者为 54.9％和 54.4％（在 IoU 阈值为 0.5 时的 mAP）。

    Apr, 2020

  • 探索点云三维语义分割的空间上下文

    本文探讨了如何扩展 PointNet 架构以涵盖较大尺度的三维空间语义分割。通过两种扩展策略，该方法在室内和室外数据集上均取得了较好的结果。

    Feb, 2018

  • 使用语义超点树网络在 3D 场景中进行实例分割

    提出了一种基于 Semantic Superpoint Tree Network (SSTNet) 的端到端解决方案，其通过学习场景点的语义特征构建中间的语义超级点树（SST）， 在中间树节点处进行实例对象的建议，以及通过一个模块对错误的超级点进行修剪， 针对数据不规则性提出了一种改进的方法。在 ScanNet 和 S3DIS 的基准测试中表现出强大的实用性。

    Aug, 2021

  • 多级三维零件实例分割的语义分割辅助实例特征融合

    本文提出了一种基于语义分割和实例中心预测的方法，进一步利用形状语义学和部件实例之间的内在关系，同时利用多个层次的特征融合以及语义区域中心预测任务来提高实例点的聚类性能，该方法在 PartNet 基准测试中表现优异。

    Aug, 2022

  • 利用局部和全局结构进行点云语义分割，使用上下文点表示

    本篇论文使用上下文点表示方法，提出了一种基于点云局部和全局结构的创新模型，使用门控融合和图形点网络模块进行语义分割，借助空间性和通道性的注意力策略，以 S3DIS 和 ScanNet 数据集为基础，效果超过现有最先进的方法。

    Nov, 2019

  • 大规模三维语义分割中的野外多视角聚合学习

    本文提出了一种端到端可训练的多视角聚合模型，利用 3D 点的视角优势，从任意位置拍摄的图像中合并特征，将标准 2D 和 3D 网络相结合，不需要着色、上网格或真实深度图，我们在 S3DIS 和 KITTI-360 数据集上取得了新的最佳效果。

    Apr, 2022