高效 LiDAR 全景分割的稀疏跨尺度注意力网络

AAAIJan, 2022

高效 LiDAR 全景分割的稀疏跨尺度注意力网络

Sparse Cross-scale Attention Network for Efficient LiDAR Panoptic Segmentation

Shuangjie Xu, Rui Wan, Maosheng Ye, Xiaoyi Zou, Tongyi Cao

TL;DR通过稀疏跨尺度注意力网络，结合全局体素编码注意力捕捉实例上下文的长距离关系，以提高过分割大型对象的回归精度，并采用实例中心的稀疏无类表示来处理面积聚合点，实现稀疏卷积以减少网络计算量。在 SemanticKITTI 数据集上，我们的方法在 3D LiDAR 全景分割任务中取得了很大进展，以实时推理速度获得了第一名。

Abstract

Two major challenges of 3d lidar panoptic segmentation (PS) are that point clouds of an object are surface-aggregated and thus hard to model the long-range dependency especially for large instances, and that objects are too close to separate each other. Recent literature addresses thes

3d lidar panoptic segmentation scan sparse cross-scale attention network instance context semantickitti dataset

发现论文，激发创造

EfficientLPS: 高效的激光雷达全景分割

本文提出了一种名为 EfficientLPS 的创新型自顶向下的 LiDAR 全景分割框架来解决 LiDAR 点云分割中的多个挑战，包括距离依赖的稀疏性、严重遮挡、大规模变化和重投影误差，并在两个大型 LiDAR 数据集上实现了状态 - of-the-art 的效果。

Feb, 2021

CPSeg：基于 3D LiDAR 点云的无聚类全景分割

提出了名为 CPSeg 的新型实时端到端全景分割网络，该网络采用共享编码器、双解码器和无聚类实例分割头，以动态支柱化前景点，通过学习嵌入来获得实例标签，并通过成对嵌入比较找到连接柱来转化传统的基于提案或聚类的实例分割为二元分割问题。在 SemanticKITTI 和 nuScenes 两个大规模自动驾驶数据集上进行了基准测试，结果表明 CPSeg 在两个数据集上都达到了实时方法的最先进水平。

Nov, 2021

Panoptic-PHNet: 通过聚类伪热度图实现实时高精度 LiDAR 全景分割

本文提出了一种快速高效的基于 LiDAR 的 Panoptic-PHNet 框架，其引入簇伪热图作为新的范例，提出了 knn-transformer 模块来精确回归前景点之间的相互作用，并将细粒度体素特征与不同感受野的 2D 俯瞰视图（BEV）特征融合，通过在 SemanticKITTI 数据集和 nuScenes 数据集上的大量实验证明 Panoptic-PHNet 超过了最先进方法，在真实时间内实现了极高的性能。

May, 2022

PANet: 稀疏实例提议和聚合的 LiDAR 全景分割

本篇论文提出了名为 PANet 的新型 LiDAR 宽景分割 (LPS) 框架，采用便于生成稀疏种子点的平衡采样，泡沫位移和连通组件标签算法直接将物点分组形成实例，通过实例聚合模块来提高大型物体的 LPS 性能。与其他文献相比，在 SemanticKITII 验证和 nuScenes 验证中，PANet 在宽景分割任务中的表现达到了最高水平。

Jun, 2023

可扩展的超点图聚类三维全景分割

介绍了一种高效的方法，通过将大型 3D 点云的全景分割任务重新定义为可扩展的图聚类问题来进行。该方法可以仅使用本地辅助任务进行训练，从而在训练过程中消除了资源密集型的实例匹配步骤。此外，我们的方法可以轻松适应 superpoint 范例，进一步提高其效率。这使得我们的模型能够在单次推理中处理具有数百万个点和数千个对象的场景。我们的方法（SuperCluster）在两个室内扫描数据集（S3DIS Area 5 的 PQ 指标为 50.1（+7.8），ScanNetV2 的 PQ 指标为 58.7（+25.2））上实现了全景分割的最新性能。此外，我们还在两个大规模移动映射基准测试（KITTI-360 和 DALES）中取得了首个最先进的结果。我们的模型仅有 209k 个参数，比最佳竞争方法小 30 倍，训练速度最高提高 15 倍。我们的代码和预训练模型可在此 https URL 获取。

Jan, 2024

Panoptic-PolarNet：无需提议的 LiDAR 点云全景分割

提出了一种名为 Panoptic-PolarNet 的快速而强健的 LiDAR 点云全景分割框架，使用极坐标鸟瞰图表示进行语义分割和类无关实例聚类，以解决城市街景中实例的遮挡问题，实验结果表明 Panoptic-PolarNet 在 benchmark 数据集上表现优异。

Mar, 2021

基于图的全景稀疏语义分割网络 GP-S3Net

本文提出了一种高效的基于 LiDAR 的全景分割框架 GP-S3Net，通过构建图卷积网络以识别物体并将其与背景类融合，利用实例标签为构造的每个图生成地面真实边缘标签来监督学习，在 nuScenes 和 SemanticPOSS 等数据集上实验表明 GP-S3Net 优于现有最先进的方法，在公共 SemanticKITTI 排行榜上排名第一。

Aug, 2021

基于激光雷达的全景分割与追踪

本文提出了一个简单而有效的基于检测的网络，用于激光雷达全景分割和追踪任务，通过使用点级别注释训练目标实例检测分支，以及使用轨迹级别监督回归模态中心和物体范围来获取细粒度实例段，该方法在多个 3D/4D LPS 基准测试中表现出色，超过最新的基于查询的模型，建立了新的开源模型的最新技术水平。

Oct, 2023

基于几何一致性和语义感知对齐的 LiDAR - 相机全景分割

我们提出了第一个激光雷达 - 相机全景分割网络（LCPS），通过三阶段的激光雷达 - 相机融合策略，在 NuScenes 数据集上改进了约 6.9% 的 PQ 性能，进一步的实验证明了我们的新框架的有效性。

Aug, 2023

基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

Mar, 2022