Oct, 2023

重新审视现实世界自主驾驶的多模态三维语义分割

PDF
TL;DRCPGNet-LCF 是一个新的多模态融合框架，通过继承 CPGNet 的易于部署和实时能力来解决合并 LiDAR 和相机之间弱校准的挑战，在训练过程中引入一种新颖的弱校准知识蒸馏策略以提高其对弱校准的鲁棒性，实现了在 nuScenes 和 SemanticKITTI 基准测试上的最先进性能，并且可在单个 Tesla V100 GPU 上以 20ms 每帧的速度运行，进一步展示了我们提出的方法的鲁棒性。
lidarcameramulti-modal fusionweak calibrationreal-time execution
发现论文，激发创造
  • 自动驾驶多模态三维语义分割 MSeg3D

    利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

    Mar, 2023

  • 感知感知多传感器融合用于 3D LiDAR 语义分割

    本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

    Jun, 2021

  • LidarMultiNet: 一个将激光雷达语义分割、3D 目标检测和全景分割统一于单个多任务网络中的方法

    LidarMultiNet 利用深度神经网络，将 3D 语义分割、物体检测和全景分割等核心 LiDAR 感知任务统一在单一框架中，实现了最佳表现。

    Jun, 2022

  • CLFT：用于自动驾驶语义分割的相机 - LiDAR 融合变压器

    提出了基于 Vision Transformer 的网络进行相机 - LiDAR 融合，用于自动驾驶的语义分割，成功地在挑战性条件下如雨天和低照明环境下展示了健壮的性能。

    Apr, 2024

  • 多模态高效数据驱动的自动驾驶三维场景理解

    在自动驾驶中，高效利用数据对于推进 3D 场景理解至关重要。我们的研究在 LiDAR 语义分割上扩展了半监督学习，利用行驶场景的内在空间先验和多传感器互补来增强无标注数据集的有效性。我们引入了 LaserMix++，这是一个进化的框架，结合了来自不同 LiDAR 扫描的激光束操作，并结合了 LiDAR - 相机对应关系，进一步辅助高效学习。我们的框架旨在通过整合多模态（包括：1）用于细粒度交叉传感器相互作用的多模态 LaserMix 操作；2）增强 LiDAR 特征学习的相机到 LiDAR 特征提炼；和 3）使用开放词汇模型生成辅助监督的语言驱动知识引导）来增强 3D 场景一致性正则化。LaserMix++ 的多功能性使其适用于 LiDAR 表示的各种应用，确立了其作为一种普遍适用的解决方案。通过理论分析和对流行驾驶感知数据集的广泛实验，我们对我们的框架进行了严格验证。结果显示，LaserMix++ 明显优于完全监督的替代方案，在只使用五分之一的注释数据的情况下实现了可比较的准确性，并显著改善了仅使用监督的基准线。这一重大进展突显了半监督方法在减少对标记数据的依赖方面对基于 LiDAR 的 3D 场景理解系统的潜力。

    May, 2024

  • SLCF-Net: 基于 3D 循环 U-Net 的顺序式激光雷达 - 摄像机融合的语义场景补全

    SLCF-Net 是一种新颖的方法，通过顺序融合 LiDAR 和相机数据来进行语义场景补全任务，从 RGB 图像序列和稀疏的 LiDAR 测量中联合估计场景中的缺失几何和语义信息，通过预训练的 2D U-Net 对图像进行语义分割，并从基于深度的 Depth Anything 中估计密集的深度先验，利用高斯衰减深度先验投影将 2D 图像特征投射到 3D 场景体积中，并使用 3D U-Net 计算体积语义，通过传感器运动传播隐藏的 3D U-Net 状态，并设计了一种新的损失函数以确保时间一致性，在 SemanticKITTI 数据集上评估我们的方法并与领先的语义场景补全方法进行比较，结果表明 SLCF-Net 在所有的语义场景补全指标上表现出色，并展示出很好的时间一致性。

    Mar, 2024

  • 基于几何一致性和语义感知对齐的 LiDAR - 相机全景分割

    我们提出了第一个激光雷达 - 相机全景分割网络（LCPS），通过三阶段的激光雷达 - 相机融合策略，在 NuScenes 数据集上改进了约 6.9% 的 PQ 性能，进一步的实验证明了我们的新框架的有效性。

    Aug, 2023

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • LCPR: 基于多尺度注意力的 LiDAR 相机融合网络用于地点识别

    提出了一种名为 LCPR 的新型神经网络，该网络融合 LiDAR 点云和多视角 RGB 图像，生成环境的具有区分性和偏航旋转不变性的表示，从而提高了地点识别性能并保持了对视角变化的强鲁棒性。

    Nov, 2023

  • DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

    本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

    Mar, 2022