基于梯度的目标定位方式实现可解释的激光雷达点云语义分割

Feb, 2024

基于梯度的目标定位方式实现可解释的激光雷达点云语义分割

Towards Explainable LiDAR Point Cloud Semantic Segmentation via Gradient Based Target Localization

Abhishek Kuriyal, Vaibhav Kumar

TL;DR本论文介绍了一种名为 pGS-CAM 的基于梯度的新方法，用于在神经网络激活层生成显著性图，该方法在解释点云语义分割预测方面具有鲁棒性和效果，并能够更好地理解模型的预测方式并确定潜在的改进方向。

Abstract

semantic segmentation (SS) of lidar point clouds is essential for many applications, such as urban planning and autonomous driving. While much progress has been made in interpreting SS predictions for images, int

semantic segmentation lidar point clouds pgs-cam saliency maps neural network activation layers

发现论文，激发创造

通过梯度加权类别激活映射实现可解释的语义分割

本文提出了一种名为 SEG-GRAD-CAM 的基于梯度的方法，扩展了广泛使用的 Grad-CAM 方法，用于解释语义分割中每个像素的相关性。

Feb, 2020

基于图像到点云显著性转换的注意力引导的激光雷达分割和里程计

提出一种基于显著性引导的方法，通过利用注意力信息来改善激光雷达里程计估计和语义分割模型的性能，并通过从彩色图像到点云的显著性知识转移，构建了伪显著性数据集，提出了一种显著性引导的三维语义分割模型和基于自我监督的显著性引导激光雷达里程计网络，并在基准数据集上进行了广泛的实验，取得了最先进的性能。

Aug, 2023

基于 Superpoint 图的大规模点云语义分割

该研究提出了一种基于深度学习的新框架，用于解决数百万点的大规模点云的语义分割挑战。该框架使用超级点图和图卷积网络等技术，取得了室内和户外 LiDAR 扫描分割方面的新成果。

Nov, 2017

基于几何一致性和语义感知对齐的 LiDAR - 相机全景分割

我们提出了第一个激光雷达 - 相机全景分割网络（LCPS），通过三阶段的激光雷达 - 相机融合策略，在 NuScenes 数据集上改进了约 6.9% 的 PQ 性能，进一步的实验证明了我们的新框架的有效性。

Aug, 2023

SEM-GAT：使用学习到的图注意力进行可解释的语义姿态估计

本文提出了一种基于 GNN 的方法，利用语义和局部几何形状来指导可靠点云注册候选项的识别，语义和形态特征作为注册的关键参考点，实现精确的激光雷达姿态估计，我们的轻量级静态图结构通过识别语义实例关系，作为一种归纳偏见，显著减少了点云注册的计算负担，通过连接候选节点和利用跨图的关注机制，我们为所有潜在的注册对应关系计算置信度得分，估计点云扫描之间的位移，我们的流程通过将模型与环境中的局部结构的个体贡献相关联，使模型的性能进行内省分析，提供有价值的系统行为洞察。我们在 KITTI 测距数据集上测试我们的方法，相较于基准方法，实现了竞争性的准确度和更高的轨迹平滑度，同时依赖 significantly fewer network parameters。

Aug, 2023

高效 LiDAR 全景分割的稀疏跨尺度注意力网络

通过稀疏跨尺度注意力网络，结合全局体素编码注意力捕捉实例上下文的长距离关系，以提高过分割大型对象的回归精度，并采用实例中心的稀疏无类表示来处理面积聚合点，实现稀疏卷积以减少网络计算量。在 SemanticKITTI 数据集上，我们的方法在 3D LiDAR 全景分割任务中取得了很大进展，以实时推理速度获得了第一名。

Jan, 2022

基于图的全景稀疏语义分割网络 GP-S3Net

本文提出了一种高效的基于 LiDAR 的全景分割框架 GP-S3Net，通过构建图卷积网络以识别物体并将其与背景类融合，利用实例标签为构造的每个图生成地面真实边缘标签来监督学习，在 nuScenes 和 SemanticPOSS 等数据集上实验表明 GP-S3Net 优于现有最先进的方法，在公共 SemanticKITTI 排行榜上排名第一。

Aug, 2021

CG-fusion CAM: 大孔径光学元件激光损伤在线分割

本文提出了一种基于连续梯度 CAM 及其非线性多尺度融合 (CG-fusion CAM) 的弱监督语义分割方法，通过重新设计梯度的反向传播方式和非线性激活多尺度融合热图，生成了更精细的类激活图，适合不同大小的损伤区域，实验结果表明所提出的方法的分割性能可与全监督算法相媲美。

Jul, 2023

3D 点云语义分割中的点与标签关联方法综述

本文对 3D 点云的获取和应用进行了概述，结合传统和先进的分割方法，讨论了点云语义分割在远程感知、计算机视觉和机器人技术等领域的发展和应用，并探讨了该领域面临的挑战和未来研究方向。

Aug, 2019

VL-SAT：三维语义点云场景图预测的视觉语言语义辅助训练

本文提出了一种名为 VL-SAT 的模型，通过多模态方案，以语言和视觉数据为基础，利用 Visual-Linguistic Semantics Assisted Training（VL-SAT）显著提升 3DSSG 预测模型的性能。通过有效地利用视觉语义性地训练，提高 3DSSG 预测模型的性能，进而对 3D 点云数据进行更好地解释。

Mar, 2023