JSIS3D:基于多任务点网络和多值条件随机场的三维点云联合语义实例分割
提出了一种新的联合实例和语义分割方法,称为 JSNet,以同时处理 3D 点云的实例和语义分割。该方法包括构建一个有效的主干网络,通过点云特征融合模块融合主干网络的不同层特征以及开发联合实例语义分割模块,把语义特征转换成实例嵌入空间并将其与实例特征相结合以促进实例分割,并将实例特征聚合到语义特征空间以促进语义分割,最后采用简单的均值漂移聚类生成实例预测。实验结果表明,提出的 JSNet 在 3D 实例分割方面比现有方法表现更好,在 3D 语义预测方面也有显著改善,并且还有益于部分分割。
Dec, 2019
我们提出了一种名为 Self-Prediction 的学习模式,用于处理点云的三维实例和语义分割问题。我们的方法强调了点关系探索方面的新学习模式,与大多数现有方法不同,该方法通过自我预测任务来训练骨干网络,从而使模型更好地探索关系、几何和形状信息并学习更具有区分性的特征进行分割,实现了在 S3DIS 和 ShapeNet 上实例分割结果的最先进性,并只使用 PointNet ++ 作为骨干网络时与现有技术的语义分割结果相当。
Jul, 2020
本研究通过设计一个新的两流全卷积网络,提出了一个联合学习方法来同时处理 3D 语义分割和 3D 语义边缘检测问题,特别是设计了一个联合调优模块来明确地连接区域信息和边缘信息,通过提出的新型损失函数,实现了更好的语义分割结果的同时改善边缘信息,结果显示该方法在 S3DIS 和 ScanNet 数据集上获得了与最先进方法相当或更好的性能,优于语义边缘检测的基准方法。
Jul, 2020
室内 3D 点云数据的语义理解对于室内服务机器人、导航系统和数字孪生工程等一系列后续应用非常重要。我们提出了一种名为 JSMNet 的方法,它结合了多层网络和全局特征自注意力模块,共同分割三维点云的语义和实例。通过设计了一个多分辨率特征自适应融合模块,以考虑由于传感器距目标的距离不同而导致的点云密度差异,更好地表达了室内目标的特性。此外,我们提出了一种联合语义和实例分割的框架,通过整合语义和实例特征实现更优的结果。我们在 S3DIS 上进行了实验证明,我们的方法与其他方法进行了比较,结果显示在语义和实例分割以及目标局部区域分割方面,我们的方法优于现有方法。具体而言,在 S3DIS(Area 5)的语义分割 mIoU 方面,我们的方法在 PointNet (Qi et al., 2017a) 上表现优异,提高了 16.0%,在实例分割 mPre 方面提高了 26.3%。此外,在语义分割 mIoU 方面,我们的方法超过了 ASIS (Wang et al., 2019) 6.0% 和 JPSPNet (Chen et al., 2022) 3.3%,在实例分割 mPre 方面略微提高了 0.3%。
Sep, 2023
本研究介绍了 SEGCloud,一种利用三线性插值和完全连接条件随机场等方式得到端到端三维点级分割的框架,可实现对室内和室外三维数据集进行准确的场景标注。
Oct, 2017
本文提出了一种基于 2D-CNN 和多模态网络架构的点云语义分割方法,将点云数据投影到 2D 平面,避免了 3D-CNN 方法中立方体体素化降低空间分辨率和增加内存消耗的限制,并在 Semantic3D 数据集上达到了相对增益 7.9%的最新最佳结果。
May, 2017
本文提出了一种端到端可训练的多视角聚合模型,利用 3D 点的视角优势,从任意位置拍摄的图像中合并特征,将标准 2D 和 3D 网络相结合,不需要着色、上网格或真实深度图,我们在 S3DIS 和 KITTI-360 数据集上取得了新的最佳效果。
Apr, 2022
该研究主要讨论了基于深度学习的三维分割在点云数据处理中的应用,并评估了不同分割算法对不同数据集的竞争力以及最常使用的处理流程、其优势、限制、未来研究方向等。
Jun, 2024
本文介绍了一个使用 3D 点云进行语义分割和对象识别的卷积神经网络,其中核心是点卷积,这是一种可以在点云的每个点上应用的新型卷积算子,并且网络设计简单且能在语义分割和对象识别任务中获得可比较的准确性。
Dec, 2017
本研究提出一种简单而灵活的框架,可同时在点云中进行实例和语义分割,通过学习语义感知的点级实例嵌入使实例分割受益于语义分割,同时融合属于同一实例的点的语义特征,以进行更精确的每点语义预测。此方法在 3D 实例分割上表现优异,并显著提高了 3D 语义分割。
Feb, 2019