May, 2024

训练最先进的激光雷达分割模型的实证研究

PDF
TL;DR在自动驾驶领域，精确分割 LiDAR 数据对于理解复杂的 3D 环境至关重要。为了解决传统方法中零散、独立的代码库的问题，以及统一推进和公平比较模型的问题，我们引入了 MMDetection3D-lidarseg。作为一种综合性工具箱，它旨在高效地训练和评估最先进的 LiDAR 分割模型。我们支持广泛的分割模型，并集成先进的数据增强技术以增强鲁棒性和泛化性。此外，该工具箱还为多个主流稀疏卷积后端提供支持，以优化计算效率和性能。通过建立统一框架，MMDetection3D-lidarseg 简化了开发和评估，并为研究和应用设定了新的标准。我们在广泛使用的数据集上进行了大量基准实验，证明了该工具箱的有效性。已公开提供代码库和训练模型，以促进自动驾驶 LiDAR 分割领域的进一步研究和创新。
autonomous drivinglidar datasegmentationmmdetection3d-lidarsegbenchmarking
发现论文，激发创造
  • LiSD：一种高效的 LiDAR 分割和检测的多任务学习框架

    通过提出一种高效的多任务学习框架 LiSD，将分割和检测任务集成在一起，以优化整体性能， 它是一种基于体素的编码器 - 解码器框架，包含分层特征协作和整体信息聚合模块，以及利用跨任务信息的实例感知细化模块。我们在 nuScenes 数据集和 Waymo Open 数据集上进行了实验验证，结果表明我们提出的模型的有效性，尤其是在只使用 lidar 的方法中，LiSD 在 nuScenes 分割基准测试中达到了 83.3％的 mIoU，领先于其他方法。

    Jun, 2024

  • 自动驾驶多模态三维语义分割 MSeg3D

    利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

    Mar, 2023

  • 高级相机 - LiDAR 融合与机器学习的 3D 物体检测

    本研究提出了一种使用单目摄像头和 LiDAR 数据结合的机器学习技术，通过以国际排名领先的二维物体探测器生成的锥体区域来分割 LiDAR 点云，从而检测运动平台周围的车辆的 3D 边界框参数， 最终验证集准确率达到 87.1％。

    May, 2021

  • MDT3D: 多数据集训练用于 LiDAR 3D 物体检测泛化

    通过使用多个标注源数据集，并结合基于粗标签的标签映射以及跨数据集对象注入的数据增强方法，提高了在不同环境中、由不同传感器配置采集的数据上测试时三维物体检测模型的鲁棒性。

    Aug, 2023

  • 基于 RGB 和 LiDAR 融合的自动驾驶 3D 语义分割

    本文旨在研究基于传感器融合技术的三维语义分割，将 RGB 图像转化为 LiDAR 所使用的极坐标网格映射表示，并设计了早期和中期融合架构，同时提出了融合两种算法的混合融合结构。在 KITTI 数据集中评估了所提出算法的效果，并相对于仅使用 LiDAR 的基线模型，在两种最先进的算法 SqueezeSeg 和 PointSeg 上分别提高了 10% 的分割精度。

    Jun, 2019

  • 多模态高效数据驱动的自动驾驶三维场景理解

    在自动驾驶中，高效利用数据对于推进 3D 场景理解至关重要。我们的研究在 LiDAR 语义分割上扩展了半监督学习，利用行驶场景的内在空间先验和多传感器互补来增强无标注数据集的有效性。我们引入了 LaserMix++，这是一个进化的框架，结合了来自不同 LiDAR 扫描的激光束操作，并结合了 LiDAR - 相机对应关系，进一步辅助高效学习。我们的框架旨在通过整合多模态（包括：1）用于细粒度交叉传感器相互作用的多模态 LaserMix 操作；2）增强 LiDAR 特征学习的相机到 LiDAR 特征提炼；和 3）使用开放词汇模型生成辅助监督的语言驱动知识引导）来增强 3D 场景一致性正则化。LaserMix++ 的多功能性使其适用于 LiDAR 表示的各种应用，确立了其作为一种普遍适用的解决方案。通过理论分析和对流行驾驶感知数据集的广泛实验，我们对我们的框架进行了严格验证。结果显示，LaserMix++ 明显优于完全监督的替代方案，在只使用五分之一的注释数据的情况下实现了可比较的准确性，并显著改善了仅使用监督的基准线。这一重大进展突显了半监督方法在减少对标记数据的依赖方面对基于 LiDAR 的 3D 场景理解系统的潜力。

    May, 2024

  • AutoInst: LiDAR 3D 扫描的自动实例分割

    通过无监督学习的方法，使用 LiDAR 传感器，构建了一个算法来预测 3D 场景中的实例分割，其中通过权重代理图生成 3D 实例掩模建议，并使用自我训练算法对初始嘈杂的提议进行强化，以生成场景级实例分割。在 SemanticKITTI 基准测试中，该方法相较于最佳基准模型获得了 13.3% 的平均准确率和 9.1% 的 F1 分数提升。

    Mar, 2024

  • 自监督镜像雷达蒸馏用于自动驾驶数据

    该研究提出了一种针对自动驾驶数据量身定制的自监督 3D 感知模型预训练方法，使用 superpixels 来池化 3D 点特征和 2D 像素特征，训练 3D 网络来匹配虚拟对应的 2D 像素特征并提取特征，从而实现无需任何点云或图像注释的 3D 语义分割和车辆物体检测，进行了大量的自动驾驶数据集实验以证明其有效性。

    Mar, 2022

  • 激光雷达标注就是您所需的

    通过使用卷积神经网络和激光雷达数据，本研究旨在提高图像分割的效率，特别是在自动驾驶系统中的道路表面分割任务中，通过减少标注工作量并在不降低分割质量的情况下训练图像分割模型。

    Nov, 2023

  • 一种简单高效的用于 3D 目标检测和道路理解的多任务网络

    本文提出了一种基于 LiDAR 传感器和多任务网络的感知系统，用于自主驾驶中的目标检测和道路识别，取得了良好的实验效果和在线定位能力。

    Mar, 2021