ICCVSep, 2023

APNet: 都市级别航拍图像和点云的场景分割

PDF
TL;DR我们专注于城市场景点云的语义分割方法，提出了一种名为 APNet 的网络架构，利用不同上下文信息和网络架构的协同利用，将点云分支和航空影像分支进行几何感知融合，以达到数据融合的最佳性能。实验证明，融合模块的输出始终优于各个网络分支的结果，并且 APNet 在 SensatUrban 数据集上取得了 65.2 的 mIoU 的最新性能。
semantic segmentationpoint cloudsurban scenesapnetgeometry-aware fusion module
发现论文，激发创造
  • 探索点云三维语义分割的空间上下文

    本文探讨了如何扩展 PointNet 架构以涵盖较大尺度的三维空间语义分割。通过两种扩展策略，该方法在室内和室外数据集上均取得了较好的结果。

    Feb, 2018

  • 一种面向空中场景解释和地理定位的多阶段多任务神经网络

    本文提出了一种新的多任务、多阶段神经网络，能够在单次前向传递中同时处理语义分割和基于视觉的航拍图像地理定位两个问题，并在卫星图像中实现商用 GPS 级别的本地化精度以及在 Inria Aerial Image Labeling 数据集和 Massachusetts Buildings 数据集上达到领先水平的分割效果。

    Apr, 2018

  • FPS-Net：大规模 LiDAR 点云分割的卷积融合网络

    该研究设计了 FPS-Net 网络，利用点云投影图像的不同特征进行多模态特征融合，旨在优化点云的分段。该网络的有效性在广泛实验中得到证明，可以实现优于现有方法的语义分割，并且引入的多模态融合思想也兼容于典型的投影方法。

    Mar, 2021

  • 无缝场景分割

    本研究提出了一种基于 CNN 的新型架构，可以进行端到端的训练，以提供无缝的场景分割结果。该网络结构采用了一种新颖的分割头，将由特征金字塔网络生成的多尺度特征与由轻量级 DeepLab 模块传递的上下文信息进行了无缝整合，从而预测一致的语义分割和检测结果。此外，研究人员还提出了一种替代 panoptic 度量的方法，克服了评估非实例类别时的局限性。通过在三个具有挑战性的街景数据集上测试，即 Cityscapes、Indian Driving Dataset 和 Mapillary Vistas，我们的网络架构取得了最先进的结果。

    May, 2019

  • Panoptic-PolarNet：无需提议的 LiDAR 点云全景分割

    提出了一种名为 Panoptic-PolarNet 的快速而强健的 LiDAR 点云全景分割框架，使用极坐标鸟瞰图表示进行语义分割和类无关实例聚类，以解决城市街景中实例的遮挡问题，实验结果表明 Panoptic-PolarNet 在 benchmark 数据集上表现优异。

    Mar, 2021

  • 城市植被点分割的深度学习架构基准测试

    本文从植被分割的角度探讨深度学习模型在城市环境下的应用，评估了四种不同的模型并在三个数据集上进行实验，提供了一些优化植被分割的方案。

    Jun, 2023

  • PointFlow：通过点流动实现航空图像分割中的语义

    提出了一种基于点亲和力传播模块 PointFlow 的航空图像分割方法，该方法相对于最新的密集亲和力上下文建模方法更加高效和精确，通过选择相邻特征之间的点生成稀疏亲和力映射降低了背景产生的噪音，该方法在三个不同的航空分割数据集上表现出比最先进的一般语义分割方法更有效和高效的结果。

    Mar, 2021

  • 多视点 PointNet 用于 3D 场景理解

    本文介绍了 MVPNet 模型，该模型使用视图选择和 2D-3D 特征聚合模块将 2D 多视图图像特征汇集到 3D 点云中，并使用基于点的网络将 3D 规范空间中的特征融合以预测 3D 语义标签。该方法在 3D 语义分割任务上，优于以前的点云方法，并且训练速度比稀疏体素方法的大型网络快得多。

    Sep, 2019

  • 从航空图像预测地面场景布局

    本文介绍了一种从航拍图像中提取语义特征的新策略，同时展示了通过该策略在地址估计和语义分割任务上的性能优于两种基线方法。

    Dec, 2016

  • 通过自注意力和多尺度改进室内点云语义和实例分割的 JSMNet

    室内 3D 点云数据的语义理解对于室内服务机器人、导航系统和数字孪生工程等一系列后续应用非常重要。我们提出了一种名为 JSMNet 的方法，它结合了多层网络和全局特征自注意力模块，共同分割三维点云的语义和实例。通过设计了一个多分辨率特征自适应融合模块，以考虑由于传感器距目标的距离不同而导致的点云密度差异，更好地表达了室内目标的特性。此外，我们提出了一种联合语义和实例分割的框架，通过整合语义和实例特征实现更优的结果。我们在 S3DIS 上进行了实验证明，我们的方法与其他方法进行了比较，结果显示在语义和实例分割以及目标局部区域分割方面，我们的方法优于现有方法。具体而言，在 S3DIS（Area 5）的语义分割 mIoU 方面，我们的方法在 PointNet (Qi et al., 2017a) 上表现优异，提高了 16.0%，在实例分割 mPre 方面提高了 26.3%。此外，在语义分割 mIoU 方面，我们的方法超过了 ASIS (Wang et al., 2019) 6.0% 和 JPSPNet (Chen et al., 2022) 3.3%，在实例分割 mPre 方面略微提高了 0.3%。

    Sep, 2023