Jun, 2024

LiSD：一种高效的 LiDAR 分割和检测的多任务学习框架

PDF
TL;DR通过提出一种高效的多任务学习框架 LiSD，将分割和检测任务集成在一起，以优化整体性能， 它是一种基于体素的编码器 - 解码器框架，包含分层特征协作和整体信息聚合模块，以及利用跨任务信息的实例感知细化模块。我们在 nuScenes 数据集和 Waymo Open 数据集上进行了实验验证，结果表明我们提出的模型的有效性，尤其是在只使用 lidar 的方法中，LiSD 在 nuScenes 分割基准测试中达到了 83.3％的 mIoU，领先于其他方法。
发现论文，激发创造
  • LiDAR-BEVMTN：用于自动驾驶的实时激光雷达鸟瞰式多任务感知网络

    LiDAR 在自动驾驶中具有重要作用，本文提出了一种基于 LiDAR 的实时多任务卷积神经网络，用于对象检测、语义分割和运动分割，并在汽车级嵌入式平台上实现了 3ms 延迟，取得了语义分割和运动分割的最新成果以及 3D 物体检测的接近最新成果。

    Jul, 2023

  • 训练最先进的激光雷达分割模型的实证研究

    在自动驾驶领域，精确分割 LiDAR 数据对于理解复杂的 3D 环境至关重要。为了解决传统方法中零散、独立的代码库的问题，以及统一推进和公平比较模型的问题，我们引入了 MMDetection3D-lidarseg。作为一种综合性工具箱，它旨在高效地训练和评估最先进的 LiDAR 分割模型。我们支持广泛的分割模型，并集成先进的数据增强技术以增强鲁棒性和泛化性。此外，该工具箱还为多个主流稀疏卷积后端提供支持，以优化计算效率和性能。通过建立统一框架，MMDetection3D-lidarseg 简化了开发和评估，并为研究和应用设定了新的标准。我们在广泛使用的数据集上进行了大量基准实验，证明了该工具箱的有效性。已公开提供代码库和训练模型，以促进自动驾驶 LiDAR 分割领域的进一步研究和创新。

    May, 2024

  • Lite-HDSeg：使用轻量级谐波密集卷积进行 LiDAR 语义分割

    本研究提出了一个新的实时卷积神经网络 ——Lite-HDSeg，用于三维激光雷达点云的智能语义分割，在 SemanticKitti 基准测试中取得了最佳的准确度和计算复杂度平衡。本文提出的方法在机器人和自动驾驶应用中是非常适合的。

    Mar, 2021

  • 基于 RGB 和 LiDAR 融合的自动驾驶 3D 语义分割

    本文旨在研究基于传感器融合技术的三维语义分割，将 RGB 图像转化为 LiDAR 所使用的极坐标网格映射表示，并设计了早期和中期融合架构，同时提出了融合两种算法的混合融合结构。在 KITTI 数据集中评估了所提出算法的效果，并相对于仅使用 LiDAR 的基线模型，在两种最先进的算法 SqueezeSeg 和 PointSeg 上分别提高了 10% 的分割精度。

    Jun, 2019

  • 半监督学习在动态场景三维 LiDAR 数据语义分割中的应用

    本文研究在自动驾驶应用中对动态场景中的 3D LiDAR 数据进行语义分割。通过使用 3D LiDAR 数据，构建了一个包括范围图像分割、样本生成、数据关联、跟踪级别注释和半监督学习等方面的语义分割系统，使用半监督学习并结合约束数据和少量标注数据对 CNN 分类器进行训练，设计了一种特殊的损失函数，其中鼓励将约束数据分配到同一语义类别。实验表明，少量标注和大量约束数据的组合显著提高了该方法的有效性和场景适应性，效果比以往的方法提高了 10% 以上。

    Sep, 2018

  • 多域 LiDAR 语义分割之路 —— 步行您的 LiDOG

    该论文设计了第一个实验环境，研究激光雷达语义分割的域泛化问题。通过提出一种具有传输学习功能的网络模型，有效地减少了领域之间的差距，从而解决了同领域分割方法不能满足跨领域泛化问题的难题。

    Apr, 2023

  • SegNet4D：自动驾驶环境中有效高效的 4D LiDAR 语义分割

    4D LiDAR 语义分割（也称为多扫描语义分割）是增强自动驾驶车辆环境理解能力的关键。本文介绍了 SegNet4D，一种利用基于投影的方法进行快速动态特征编码的实时多扫描语义分割方法，展示了卓越的性能。SegNet4D 将 4D 语义分割视为两个不同的任务：单扫描语义分割和运动目标分割，分别由专用头部解决，然后在提出的运动 - 语义融合模块中进行融合以实现全面的多扫描语义分割。此外，我们提出从当前扫描中提取实例信息，并将其并入网络以实现实例感知分割。我们的方法在多个数据集上表现出卓越的性能，是一种实时多扫描语义分割方法。SegNet4D 的实现将在 https://github.com/nubot-nudt/SegNet4D 上提供。

    Jun, 2024

  • 自动驾驶多模态三维语义分割 MSeg3D

    利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

    Mar, 2023

  • 一种简单高效的用于 3D 目标检测和道路理解的多任务网络

    本文提出了一种基于 LiDAR 传感器和多任务网络的感知系统，用于自主驾驶中的目标检测和道路识别，取得了良好的实验效果和在线定位能力。

    Mar, 2021

  • 激光雷达引导半监督主动学习的单目三维物体检测

    本文提出了一种新颖的半监督主动学习 (SSAL) 框架，用于配备了激光雷达的单目 3D 物体检测，利用了模型开发过程中所收集的所有数据的多模态。通过利用激光雷达来指导单目 3D 检测器的数据选择和训练，不在推理阶段引入任何开销，并采用半监督学习中的激光雷达教师，单目学生交叉模态框架，用于从未标记数据中蒸馏信息作为伪标签，以处理传播噪声等问题。文中也给出了用于选择需标记样本的传感器一致性基础选择评分的解决方案，同时也符合训练目标。本文在 KITTI 和 Waymo 数据集上广泛实验，验证了所提出方法的有效性。具体来说，所提出的选择策略在成本节省方面始终优于现有主动学习基线，在标签成本上节约了高达 17% 的成本；训练策略在 KITTI 3D 和 BEV 单目物体检测官方基准中获得了最佳成绩，将 BEV 平均精度提高了 2.02。

    Jul, 2023