SqueezeSegV2: 基于 LiDAR 点云的道路目标分割的改进模型结构和无监督域自适应

Sep, 2018

SqueezeSegV2: 基于 LiDAR 点云的道路目标分割的改进模型结构和无监督域自适应

SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud

PDF

Bichen Wu, Xuanyu Zhou, Sicheng Zhao, Xiangyu Yue, Kurt Keutzer

TL;DR本篇论文介绍了一种新的模型，SqueezeSegV2，通过改进模型结构、训练损失、批量规范化和额外输入通道等方面，增强了对 LiDAR 点云中 drop noise 的鲁棒性，同时也提出一种包含三个重要组成部分的域自适应训练流程，可将在虚拟环境中生成的点云数据有效地应用到真实环境中，并获得显著的分割准确性提升。

Abstract

Earlier work demonstrates the promise of deep-learning-based approaches for point cloud segmentation; however, these approaches need to be improved to be practically useful. To this end, we introduce a new model SqueezeSegV2 that is more robust to dropout noise in →

point cloud segmentation deep learning lidar domain adaptation synthetic data

发现论文，激发创造

SqueezeSeg: 3D LiDAR 点云实时道路物体分割的卷积神经网络与循环条件随机场

本论文针对 3D 激光雷达点云的道路物体语义分割问题，提出了一种基于 CNN 和 CRF 的端到端方法 SqueezeSeg，通过将经过转换处理的点云作为输入，直接输出一个点输出标签图，并通过 CRF 进行细化，最后通过聚类算法得到实例级别的标签。实验结果表明该方法在自动驾驶应用中具有高准确性、快速稳定的运行，特别是通过使用虚拟仿真数据训练，还能提高在实际应用中的表现。

Oct, 2017

SqueezeSegV3: 面向点云分割的自适应空间卷积

本文针对 LiDAR 点云分割中前处理存在的问题，提出了新的卷积方法 Spatially-Adaptive Convolution，并通过 SqueezeSegV3 核 SemanticKITTI 数据集的实验表明，相较于之前提出的算法在语义分割的性能上有了更好的提升。

Apr, 2020

基于鸟瞰 LiDAR 点云数据的车辆检测领域自适应

本研究通过提出基于 CycleGAN 架构的域自适应框架，在从真实 3D LiDAR 传感器获取的鸟瞰（BEV）点云图像上检测车辆时，将合成的点云数据与真实点云数据之间的领域转移缩小，相对于常规方法提高了超过 7% 的平均精确度分数。

May, 2019

GIPSO：基于几何信息传播的 3D LiDAR 分割在线自适应

本文主要研究了自动驾驶中 3D 点云语义分割的问题，提出了一种新的面向场景推理的算法框架，并针对领域变化以及使用合成数据时的挑战性问题进行了研究，提高了算法的稳定性和实际性能。

Jul, 2022

基于域自适应的 LiDAR 点云语义分割完成与标注

本文利用 3D 点云中表面稀疏采样的特征，引入稀疏体素完成网络 (SVCN) 进行前景表面的完成。同时，我们使用局部对抗学习构建 3D 表面的先验知识。结果表明，在处理不同 LiDAR 传感器数据的跨域语义分割问题时，我们提出的方法比现有方法提高了 8.2%-36.6% 的分类性能。

Jul, 2020

SSDA3D: 3D 点云物体检测的半监督领域适应

提出了一种半监督领域自适应方法，名为 “SSDA3D”，包括两个阶段的 Point-CutMix 模块和 Intra-domain Generalization，很好地解决了不同 LiDAR 配置、城市和天气等领域间偏移问题，不依赖于大量标注数据，在只有 10％目标数据标注的情况下，可以超过 100％目标标签的完全监督模型。

Dec, 2022

PointSeg：基于 3D LiDAR 点云的实时语义分割

本文提出了一种基于球形图像的实时端到端语义分割方法 PointSeg，它以从 3D LiDAR 点云转换来的球形图像为输入，并利用卷积神经网络（CNNs）来预测点级语义映射，它采用了轻量级网络 SqueezeNet 进行模型构建，并在 KITTI 3D 目标检测数据集上进行了训练，实验结果表明在单个 GPU 1080ti 上可达到每秒 90 帧的竞争精度，适用于自动驾驶应用。

Jul, 2018

FuseSeg：利用多模态数据融合 LiDAR 点云分割

本文提出一种简单而有效的 LiDAR 和 RGB 数据融合方法，该方法可以对 LiDAR 点云进行分割和特征提取，从而极大地提高了分割精度和实时性能。研究结果在 KITTI 基准测试中获得了最高 18％的 IoU 提升。

Dec, 2019

基于组合语义混合的点云分割领域自适应

通过语义和几何样本混合，该研究介绍了一种基于点云的无监督领域自适应技术，并采用合成到真实和真实到真实的情境，利用 LiDAR 数据集验证其在无监督和半监督设置中明显优于现有方法的性能。

Aug, 2023

自动驾驶的 3D 无监督学习：通过提炼 2D 开放词汇分割模型实现

提出了一种由 2D 开放词汇的分割模型辅助的新型三维无监督框架（UOV），通过学习未标注数据的点云表征，采用了两个阶段：首先，创新地结合了 2D 开放词汇模型的高质量文本和图像特征，提出了三模态对比预训练（TMP）；其次，利用点云和图像之间的空间映射生成伪标签，实现异态知识蒸馏。并引入了近似平面交互（AFI）来解决对齐噪声和标签混淆问题。在多个相关数据集上进行了大量实验证明了 UOV 的优越性，在 nuScenes 的无需标注的点云分割任务上，实现了创纪录的 47.73% 的 mIoU，超过了之前最好模型 10.70% 的 mIoU。同时，在 nuScenes 和 SemanticKITTI 上使用 1% 的数据进行微调，取得了显著的 51.75% 和 48.14% 的 mIoU，超过了所有之前的预训练模型。

May, 2024