Jul, 2023

PSGformer：通过精确的语义引导增强 3D 点云实例分割

PDF
TL;DR本文提出 PSGformer，一种新颖的 3D 实例分割网络，通过多级语义聚合模块和平行特征融合 Transformer 模块，完整地利用全局和局部语义信息，有效提高了分割水平，实现在 ScanNetv2 数据集上取得了当前最佳结果。
3d instance segmentationsemantic informationmulti-level semantic aggregation moduleparallel feature fusion transformer modulescannetv2 dataset
发现论文，激发创造
  • OneFormer3D：统一点云分割的一种 Transformer

    本文提出了一种统一、简单、有效的模型 OneFormer3D，利用可学习的卷积核同时处理实例分割和语义分割，通过输入统一的实例和语义查询来训练，并在 ScanNet 测试排行榜中取得了第一名和新的最佳性能，同时在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了最领先的语义、实例和全景分割结果。

    Nov, 2023

  • Pointformer 进行的 3D 物体检测

    本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

    Dec, 2020

  • Geodesic-Former: 基于测地线引导的少样本 3D 点云实例分割器

    本文介绍了一个新的三维点云问题：少样本实例分割。提出了一个基于测地线引导的转换器，用于解决 LiDAR 点云中密度不平衡的问题，并在 ScannetV2 和 S3DIS 数据集上测试了其性能。

    Jul, 2022

  • 一个统一的基于点的 3D 分割框架

    针对 3D 点云的分割问题，我们提出了一种新的点云分割框架，该框架能有效地优化整个场景的像素级特征，几何结构和全局上下文先验。实验结果表明，该方法优于现有的一些最先进的方法，并探讨了在三维重建场景中合成相机姿态以获得更高的性能。

    Aug, 2019

  • SegFormer：使用 Transformer 简单高效的语义分割设计

    SegFormer 是一种简单、高效而强大的语义分割框架，它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在，并为 SegFormer 构建了一系列模型，其中最好的模型 - SegFormer-B5，在 Cityscapes 验证集上达到了 84.0％的 mIoU，显示了出色的零 - shot 鲁棒性。

    May, 2021

  • 基于 Superpoint 图的大规模点云语义分割

    该研究提出了一种基于深度学习的新框架，用于解决数百万点的大规模点云的语义分割挑战。该框架使用超级点图和图卷积网络等技术，取得了室内和户外 LiDAR 扫描分割方面的新成果。

    Nov, 2017

  • 野外场景三维图结构点云的弱监督语义分割

    提出了一种基于 2D 监督的新型深度图卷积网络框架，用于大规模语义场景点云的分割，通过 Graph-based Pyramid Feature Network 和 Observability Network 可以隐式推断点集的全局和局部特征，并提出了一个 2D-3D 联合优化策略用于优化投影过程中的语义信息的加入， 即使只有单个训练样本的情况下，也能够进行自然场景下的 3D 分割训练，扩展实验在 SUNCG 和 S3DIS 数据集上证明了这种 2D 监督框架在语义点云分割方面的有效性。

    Apr, 2020

  • 上下文与几何感知的体素变换器用于语义场景补全

    本文介绍了一种基于视觉的语义场景补全方法，通过稀疏到稠密的转换和上下文与几何感知，使用 CGFormer 神经网络结构在不同尺度上提高了语义和几何表示能力，取得了在两个基准数据集上的最优性能。

    May, 2024

  • 通过自注意力和多尺度改进室内点云语义和实例分割的 JSMNet

    室内 3D 点云数据的语义理解对于室内服务机器人、导航系统和数字孪生工程等一系列后续应用非常重要。我们提出了一种名为 JSMNet 的方法，它结合了多层网络和全局特征自注意力模块，共同分割三维点云的语义和实例。通过设计了一个多分辨率特征自适应融合模块，以考虑由于传感器距目标的距离不同而导致的点云密度差异，更好地表达了室内目标的特性。此外，我们提出了一种联合语义和实例分割的框架，通过整合语义和实例特征实现更优的结果。我们在 S3DIS 上进行了实验证明，我们的方法与其他方法进行了比较，结果显示在语义和实例分割以及目标局部区域分割方面，我们的方法优于现有方法。具体而言，在 S3DIS（Area 5）的语义分割 mIoU 方面，我们的方法在 PointNet (Qi et al., 2017a) 上表现优异，提高了 16.0%，在实例分割 mPre 方面提高了 26.3%。此外，在语义分割 mIoU 方面，我们的方法超过了 ASIS (Wang et al., 2019) 6.0% 和 JPSPNet (Chen et al., 2022) 3.3%，在实例分割 mPre 方面略微提高了 0.3%。

    Sep, 2023

  • SegFormer3D: 3D 医学图像分割的高效 Transformer

    SegFormer3D 是一种记忆高效的分层 Transformer，在 3D 医学图像分割中拥有比当前最先进模型更少的参数和更低的 GFLOPS，并在 Synapse、BRaTs 和 ACDC 等广泛使用的数据集上取得竞争性结果。

    Apr, 2024