JSNet: 3D 点云的联合实例和语义分割
室内 3D 点云数据的语义理解对于室内服务机器人、导航系统和数字孪生工程等一系列后续应用非常重要。我们提出了一种名为 JSMNet 的方法,它结合了多层网络和全局特征自注意力模块,共同分割三维点云的语义和实例。通过设计了一个多分辨率特征自适应融合模块,以考虑由于传感器距目标的距离不同而导致的点云密度差异,更好地表达了室内目标的特性。此外,我们提出了一种联合语义和实例分割的框架,通过整合语义和实例特征实现更优的结果。我们在 S3DIS 上进行了实验证明,我们的方法与其他方法进行了比较,结果显示在语义和实例分割以及目标局部区域分割方面,我们的方法优于现有方法。具体而言,在 S3DIS(Area 5)的语义分割 mIoU 方面,我们的方法在 PointNet (Qi et al., 2017a) 上表现优异,提高了 16.0%,在实例分割 mPre 方面提高了 26.3%。此外,在语义分割 mIoU 方面,我们的方法超过了 ASIS (Wang et al., 2019) 6.0% 和 JPSPNet (Chen et al., 2022) 3.3%,在实例分割 mPre 方面略微提高了 0.3%。
Sep, 2023
本研究通过设计一个新的两流全卷积网络,提出了一个联合学习方法来同时处理 3D 语义分割和 3D 语义边缘检测问题,特别是设计了一个联合调优模块来明确地连接区域信息和边缘信息,通过提出的新型损失函数,实现了更好的语义分割结果的同时改善边缘信息,结果显示该方法在 S3DIS 和 ScanNet 数据集上获得了与最先进方法相当或更好的性能,优于语义边缘检测的基准方法。
Jul, 2020
本文提出了一种用于 3D 点云的多任务点位网络,实现了语义和实例分割,并比较了不同数据集上的表现。与单一组件相比,我们的方法表现出了更好的鲁棒性和语义分割性能,使用了多值条件随机场进行语义与实例标签联合优化。
Apr, 2019
我们提出了一种名为 Self-Prediction 的学习模式,用于处理点云的三维实例和语义分割问题。我们的方法强调了点关系探索方面的新学习模式,与大多数现有方法不同,该方法通过自我预测任务来训练骨干网络,从而使模型更好地探索关系、几何和形状信息并学习更具有区分性的特征进行分割,实现了在 S3DIS 和 ShapeNet 上实例分割结果的最先进性,并只使用 PointNet ++ 作为骨干网络时与现有技术的语义分割结果相当。
Jul, 2020
提出了一种基于 Semantic Superpoint Tree Network (SSTNet) 的端到端解决方案,其通过学习场景点的语义特征构建中间的语义超级点树(SST), 在中间树节点处进行实例对象的建议,以及通过一个模块对错误的超级点进行修剪, 针对数据不规则性提出了一种改进的方法。在 ScanNet 和 S3DIS 的基准测试中表现出强大的实用性。
Aug, 2021
PointGroup 是一种新的端到端自下而上架构方法,专为更好地通过探索对象之间的空白空间对点进行分组而设计,通过两个分支网络提取点特征并预测语义标签与偏移量,利用原始和偏移移动的点坐标集,使用 ScoreNet 评估候选实例,并使用 NMS 消除重复。与先前的最佳解决方案相比,PointGroup 在 ScanNet v2 和 S3DIS 数据集上都取得了高性能,分别为 63.6%和 64.0%,而前者为 54.9%和 54.4%(在 IoU 阈值为 0.5 时的 mAP)。
Apr, 2020
本文提出了一种基于 2D-CNN 和多模态网络架构的点云语义分割方法,将点云数据投影到 2D 平面,避免了 3D-CNN 方法中立方体体素化降低空间分辨率和增加内存消耗的限制,并在 Semantic3D 数据集上达到了相对增益 7.9%的最新最佳结果。
May, 2017
本研究提出一种简单而灵活的框架,可同时在点云中进行实例和语义分割,通过学习语义感知的点级实例嵌入使实例分割受益于语义分割,同时融合属于同一实例的点的语义特征,以进行更精确的每点语义预测。此方法在 3D 实例分割上表现优异,并显著提高了 3D 语义分割。
Feb, 2019
本文介绍了一个新的 3D 点云分类基准数据集,其中包含超过 40 亿个手动标记的点,用于数据密集型的(深度)学习方法。使用深度卷积神经网络(CNNs)作为工作马的初始提交已经显示出相对于现有技术具有显著的性能改进。我们提供了基线方法描述和通过我们的在线系统提交方法之间的比较。我们希望 Semantic3D.net 能够为 3D 点云标注中的深度学习方法铺平道路。
Apr, 2017