AAAIDec, 2020

通过从场景完成中学习上下文形状先验进行稀疏单遍 LiDAR 点云分割

PDF
TL;DR本文提出了一种基于学习的语义分割框架，其利用上下文形状先验知识，在 LiDAR 点云序列的帮助下将单个点云序列完成从稀疏的单扫描点云到密集的点云的语义分割任务，并在 SemanticKITTI 和 SemanticPOSS 数据集上取得了显著的性能提升。
lidarpoint cloudsemantic segmentationcontextual shape priorsautonomous driving
发现论文，激发创造
  • S3CNet: 面向 LiDAR 点云的稀疏语义场景补全网络

    本文提出了 S3CNet，一种基于稀疏卷积的神经网络，从统一的 LiDAR 点云中预测语义完成场景，并在 3D 任务上取得了最先进的结果

    Dec, 2020

  • PointSSC：基于协作车辆 - 基础设施点云的语义场景完善基准评测

    实现语义场景补全 (SSC) 的 PointSSC 是首个针对语义场景补全的车辆基础设施合作点云基准，其利用点云作为轻量级替代方案，旨在提供语义标签的室外点云场景基准测试，准确度量验证真实导航中语义点云补全的进展。

    Sep, 2023

  • 基于基础模型的弱监督激光雷达语义分割

    本文提出了使用散点图对图像进行注释，然后利用 SAM（一种基本模型）为图像生成语义分割标签。通过使用相机和 LiDAR 的内在和外在参数将图像的分割标签映射到 LiDAR 空间，我们获得了点云语义分割的标签，并发布了 Scatter-KITTI 和 Scatter-nuScenes，这是第一个利用基于图像分割的 SAM 进行弱监督点云语义分割的作品。此外，为了减小稀疏注释获取的错误伪标签对点云特征的影响，我们提出了一种用于 LiDAR 语义分割的多模态弱监督网络，称为 MM-ScatterNet。该网络通过引入多模态特征和点云特征之间的一致性约束，增强了点云的表示学习。在 SemanticKITTI 数据集上，我们仅使用 0.02％的注释数据就实现了 66％的全监督性能，在 NuScenes 数据集上，仅使用 0.1％的标记点就实现了 95％的全监督性能。

    Apr, 2024

  • 基于语义分割辅助的 LiDAR 点云场景补全

    我们提出了一种端到端的语义分割辅助场景补全网络，包括 2D 补全分支和 3D 语义分割分支，以提供语义信息。通过采用 BEV 表示和 3D 稀疏卷积，我们可以从较低的操作数中受益，同时保持有效的表达。此方法在 SemanticKITTI 数据集上表现出有竞争力的性能和低延迟。

    Sep, 2021

  • 高效 LiDAR 全景分割的稀疏跨尺度注意力网络

    通过稀疏跨尺度注意力网络，结合全局体素编码注意力捕捉实例上下文的长距离关系，以提高过分割大型对象的回归精度，并采用实例中心的稀疏无类表示来处理面积聚合点，实现稀疏卷积以减少网络计算量。在 SemanticKITTI 数据集上，我们的方法在 3D LiDAR 全景分割任务中取得了很大进展，以实时推理速度获得了第一名。

    Jan, 2022

  • 基于域自适应的 LiDAR 点云语义分割完成与标注

    本文利用 3D 点云中表面稀疏采样的特征，引入稀疏体素完成网络 (SVCN) 进行前景表面的完成。同时，我们使用局部对抗学习构建 3D 表面的先验知识。结果表明，在处理不同 LiDAR 传感器数据的跨域语义分割问题时，我们提出的方法比现有方法提高了 8.2%-36.6% 的分类性能。

    Jul, 2020

  • 基于摄像头的稀疏引导网络的三维语义场景补全

    使用密集 - 稀疏 - 密集的设计，采用几何先验和占据信息，从语义感知和占据感知种子体素中扩散语义，实现基于相机的语义场景完成 (SSC) 框架。在 SemanticKITTI 数据集上的实验结果表明，该方法优于现有的最先进方法。

    Dec, 2023

  • 语义场景补全：基于点 - 体素视角的差异化处理

    本文介绍了一种名为 Semantic Scene Completion 的任务，提出了一个使用点和体素来预测 3D 场景语义和占用表示的点 - 体素聚合网络，该网络使用深度点流来高效捕捉场景中的语义信息，以及只含两个 3D 卷积层的轻量化体素流来保持场景的局部结构。通过使用各向异性体素聚合操作融合体素流中的结构细节，以及使用基于语义标签的传播模块来增强点流中的上采样过程，该模型在两个基准测试中超过了当前最先进技术。

    Dec, 2021

  • 点云联合实体实例化和语义分割的自预测

    我们提出了一种名为 Self-Prediction 的学习模式，用于处理点云的三维实例和语义分割问题。我们的方法强调了点关系探索方面的新学习模式，与大多数现有方法不同，该方法通过自我预测任务来训练骨干网络，从而使模型更好地探索关系、几何和形状信息并学习更具有区分性的特征进行分割，实现了在 S3DIS 和 ShapeNet 上实例分割结果的最先进性，并只使用 PointNet ++ 作为骨干网络时与现有技术的语义分割结果相当。

    Jul, 2020

  • MemorySeg：基于潜在记忆的在线 LiDAR 语义分割

    本文提出了一种利用过去帧信息改善当前帧预测的基于 LiDAR 点云时序的语义分割模型，通过使用记忆网络存储、更新和检索过去信息，并在点云邻域中惩罚预测变化，构建稀疏的 3D 潜在表示来克服遮挡等限制，实验证明该方法在 SemanticKITTI、nuScenes 和 PandaSet 数据集上比现有方法更有效。

    Nov, 2023