Mar, 2024

LVIC: 提取视觉信息作为线索的多模态分割

PDF
TL;DR多模态融合在自动驾驶的三维感知中被证明是一种有效的方法。然而，目前大多数用于 LiDAR 语义分割的多模态融合方法具有复杂的融合机制。点绘制是一种直接将 LiDAR 点与视觉信息绑定的简单方法，但是之前的点绘制类方法存在相机和 LiDAR 之间的投影误差问题。为了解决这个问题，我们提出了一种基于深度的点绘制机制，显著提高了多模态融合效果。此外，我们对 LiDAR 进行了更深入的研究，以确定其所需的视觉特征，通过提取视觉信息作为线索，我们在 nuScenes 的 LiDAR 语义分割基准测试中排名第一。我们的实验证明了该方法的鲁棒性和有效性。代码将很快公开。
发现论文，激发创造
  • 点云画法：用于三维物体检测的连续融合技术

    本文提出了一种名为 PointPainting 的新型传感器数据融合方法，该方法通过将激光雷达点云数据映射到图像上，并将类别分数附加到每个点云中，从而得出了最新的 KITTI 数据集鸟瞰检测任务的状态。

    Nov, 2019

  • FusionPainting: 多模态融合的自适应注意力应用于 3D 物体检测

    提出了一个称为 “FusionPainting” 的多模态融合框架，它可以在语义级别上融合 2D RGB 图像和 3D 点云以提高 3D 障碍物检测性能，并在 nuScenes 检测基准测试中显示出优于其他现有方法的性能。

    Jun, 2021

  • 感知感知多传感器融合用于 3D LiDAR 语义分割

    本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

    Jun, 2021

  • 基于 RGB 和 LiDAR 融合的自动驾驶 3D 语义分割

    本文旨在研究基于传感器融合技术的三维语义分割，将 RGB 图像转化为 LiDAR 所使用的极坐标网格映射表示，并设计了早期和中期融合架构，同时提出了融合两种算法的混合融合结构。在 KITTI 数据集中评估了所提出算法的效果，并相对于仅使用 LiDAR 的基线模型，在两种最先进的算法 SqueezeSeg 和 PointSeg 上分别提高了 10% 的分割精度。

    Jun, 2019

  • 多模态虚拟点 3D 检测

    通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

    Nov, 2021

  • 多模态高效数据驱动的自动驾驶三维场景理解

    在自动驾驶中，高效利用数据对于推进 3D 场景理解至关重要。我们的研究在 LiDAR 语义分割上扩展了半监督学习，利用行驶场景的内在空间先验和多传感器互补来增强无标注数据集的有效性。我们引入了 LaserMix++，这是一个进化的框架，结合了来自不同 LiDAR 扫描的激光束操作，并结合了 LiDAR - 相机对应关系，进一步辅助高效学习。我们的框架旨在通过整合多模态（包括：1）用于细粒度交叉传感器相互作用的多模态 LaserMix 操作；2）增强 LiDAR 特征学习的相机到 LiDAR 特征提炼；和 3）使用开放词汇模型生成辅助监督的语言驱动知识引导）来增强 3D 场景一致性正则化。LaserMix++ 的多功能性使其适用于 LiDAR 表示的各种应用，确立了其作为一种普遍适用的解决方案。通过理论分析和对流行驾驶感知数据集的广泛实验，我们对我们的框架进行了严格验证。结果显示，LaserMix++ 明显优于完全监督的替代方案，在只使用五分之一的注释数据的情况下实现了可比较的准确性，并显著改善了仅使用监督的基准线。这一重大进展突显了半监督方法在减少对标记数据的依赖方面对基于 LiDAR 的 3D 场景理解系统的潜力。

    May, 2024

  • FuseSeg：利用多模态数据融合 LiDAR 点云分割

    本文提出一种简单而有效的 LiDAR 和 RGB 数据融合方法，该方法可以对 LiDAR 点云进行分割和特征提取，从而极大地提高了分割精度和实时性能。研究结果在 KITTI 基准测试中获得了最高 18％的 IoU 提升。

    Dec, 2019

  • DVLO：深度视觉 - LiDAR 里程计，使用局部到全局特征融合和双向结构对齐

    通过局部到全局的融合网络与双向结构对齐，本研究解决了视觉 - LiDAR 融合中由于两种模态之间内在数据结构不一致性而带来的挑战，取得了在 KITTI 里程计和 FlyingThings3D 场景流数据集上超过单模态和多模态方法的最新成果。

    Mar, 2024

  • 基于图像到点云显著性转换的注意力引导的激光雷达分割和里程计

    提出一种基于显著性引导的方法，通过利用注意力信息来改善激光雷达里程计估计和语义分割模型的性能，并通过从彩色图像到点云的显著性知识转移，构建了伪显著性数据集，提出了一种显著性引导的三维语义分割模型和基于自我监督的显著性引导激光雷达里程计网络，并在基准数据集上进行了广泛的实验，取得了最先进的性能。

    Aug, 2023

  • 激光雷达标注就是您所需的

    通过使用卷积神经网络和激光雷达数据，本研究旨在提高图像分割的效率，特别是在自动驾驶系统中的道路表面分割任务中，通过减少标注工作量并在不降低分割质量的情况下训练图像分割模型。

    Nov, 2023