基于几何一致性和语义感知对齐的 LiDAR - 相机全景分割

ICCVAug, 2023

基于几何一致性和语义感知对齐的 LiDAR - 相机全景分割

LiDAR-Camera Panoptic Segmentation via Geometry-Consistent and Semantic-Aware Alignment

Zhiwei Zhang, Zhizhong Zhang, Qian Yu, Ran Yi, Yuan Xie...

TL;DR我们提出了第一个激光雷达 - 相机全景分割网络（LCPS），通过三阶段的激光雷达 - 相机融合策略，在 NuScenes 数据集上改进了约 6.9% 的 PQ 性能，进一步的实验证明了我们的新框架的有效性。

Abstract

3d panoptic segmentation is a challenging perception task that requires both semantic segmentation and instance segmentation. In this task, we notice that images could provide rich texture, color, and discriminative information, which can complement LiDAR data for evident performance i

3d panoptic segmentation lidar-camera fusion asynchronous compensation pixel alignment semantic-aware region alignment point-to-voxel feature propagation

发现论文，激发创造

EfficientLPS: 高效的激光雷达全景分割

本文提出了一种名为 EfficientLPS 的创新型自顶向下的 LiDAR 全景分割框架来解决 LiDAR 点云分割中的多个挑战，包括距离依赖的稀疏性、严重遮挡、大规模变化和重投影误差，并在两个大型 LiDAR 数据集上实现了状态 - of-the-art 的效果。

Feb, 2021

Panoptic-PolarNet：无需提议的 LiDAR 点云全景分割

提出了一种名为 Panoptic-PolarNet 的快速而强健的 LiDAR 点云全景分割框架，使用极坐标鸟瞰图表示进行语义分割和类无关实例聚类，以解决城市街景中实例的遮挡问题，实验结果表明 Panoptic-PolarNet 在 benchmark 数据集上表现优异。

Mar, 2021

CPSeg：基于 3D LiDAR 点云的无聚类全景分割

提出了名为 CPSeg 的新型实时端到端全景分割网络，该网络采用共享编码器、双解码器和无聚类实例分割头，以动态支柱化前景点，通过学习嵌入来获得实例标签，并通过成对嵌入比较找到连接柱来转化传统的基于提案或聚类的实例分割为二元分割问题。在 SemanticKITTI 和 nuScenes 两个大规模自动驾驶数据集上进行了基准测试，结果表明 CPSeg 在两个数据集上都达到了实时方法的最先进水平。

Nov, 2021

Panoptic-PHNet: 通过聚类伪热度图实现实时高精度 LiDAR 全景分割

本文提出了一种快速高效的基于 LiDAR 的 Panoptic-PHNet 框架，其引入簇伪热图作为新的范例，提出了 knn-transformer 模块来精确回归前景点之间的相互作用，并将细粒度体素特征与不同感受野的 2D 俯瞰视图（BEV）特征融合，通过在 SemanticKITTI 数据集和 nuScenes 数据集上的大量实验证明 Panoptic-PHNet 超过了最先进方法，在真实时间内实现了极高的性能。

May, 2022

高效 LiDAR 全景分割的稀疏跨尺度注意力网络

通过稀疏跨尺度注意力网络，结合全局体素编码注意力捕捉实例上下文的长距离关系，以提高过分割大型对象的回归精度，并采用实例中心的稀疏无类表示来处理面积聚合点，实现稀疏卷积以减少网络计算量。在 SemanticKITTI 数据集上，我们的方法在 3D LiDAR 全景分割任务中取得了很大进展，以实时推理速度获得了第一名。

Jan, 2022

重新审视现实世界自主驾驶的多模态三维语义分割

CPGNet-LCF 是一个新的多模态融合框架，通过继承 CPGNet 的易于部署和实时能力来解决合并 LiDAR 和相机之间弱校准的挑战，在训练过程中引入一种新颖的弱校准知识蒸馏策略以提高其对弱校准的鲁棒性，实现了在 nuScenes 和 SemanticKITTI 基准测试上的最先进性能，并且可在单个 Tesla V100 GPU 上以 20ms 每帧的速度运行，进一步展示了我们提出的方法的鲁棒性。

Oct, 2023

4D 全景式激光雷达分割

提出一种新的 4D 全景 LiDAR 分割方法，将语义类和时间一致的实例 ID 分配给 3D 点序列，使用点为中心的评估度量来确定每个点的语义类别，将对象实例建模为 4D 时空域中的概率分布，从而以更高效的方式处理多个点云。这项工作展望未来的超高效 LiDAR 全景感知。

Feb, 2021

感知感知多传感器融合用于 3D LiDAR 语义分割

本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

Jun, 2021

基于 RGB 和 LiDAR 融合的自动驾驶 3D 语义分割

本文旨在研究基于传感器融合技术的三维语义分割，将 RGB 图像转化为 LiDAR 所使用的极坐标网格映射表示，并设计了早期和中期融合架构，同时提出了融合两种算法的混合融合结构。在 KITTI 数据集中评估了所提出算法的效果，并相对于仅使用 LiDAR 的基线模型，在两种最先进的算法 SqueezeSeg 和 PointSeg 上分别提高了 10% 的分割精度。

Jun, 2019

PANet: 稀疏实例提议和聚合的 LiDAR 全景分割

本篇论文提出了名为 PANet 的新型 LiDAR 宽景分割 (LPS) 框架，采用便于生成稀疏种子点的平衡采样，泡沫位移和连通组件标签算法直接将物点分组形成实例，通过实例聚合模块来提高大型物体的 LPS 性能。与其他文献相比，在 SemanticKITII 验证和 nuScenes 验证中，PANet 在宽景分割任务中的表现达到了最高水平。

Jun, 2023