Dec, 2023

飞升 - 参与 - 弹溅：使用 Transformer 进行鸟瞰摄像头 - 激光雷达融合

PDF
TL;DR通过在鸟瞰图格栅中使用简单的注意力机制选择和融合相机和激光雷达特征，我们引入了一种绕过单眼深度估计的新型融合方法，展示了在 nuScenes 数据集上我们的模型可以根据激光雷达特征的可用性调节其使用相机特征，从而在 3D 目标检测方面优于依赖单眼深度估计的基线方法。
sensor modalitiescamera-lidar fusionmonocular depth estimationobject detection performancebird's-eye-view grid
发现论文，激发创造
  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • 鸟瞰视角下雷达 - 摄像头融合的跨数据集实验研究

    通过利用互补的传感器信息，雷达和相机融合系统具有为高级驾驶员辅助系统和自动驾驶功能提供高度鲁棒可靠的感知系统的潜力。最近相机基于物体检测的进展为鸟瞰特征图的雷达相机融合提供了新的可能性。本文提出了一种新颖而灵活的融合网络，并在两个数据集（nuScenes 和 View-of-Delft）上评估其性能。我们的实验结果表明，虽然相机分支需要大量多样化的训练数据，但雷达分支更受到高性能雷达的影响。使用迁移学习，我们改善了较小数据集上相机的性能。我们的结果进一步证明了雷达相机融合方法明显优于仅相机和仅雷达的基线模型。

    Sep, 2023

  • DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

    本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

    Mar, 2022

  • 使用隐式反投影到 3D 对来自任意相机架的图像进行编码的 Lift，Splat，Shoot

    本文提出了一种新的端到端架构，能够直接从任意数量的相机图像数据中提取场景的鸟瞰图表示，并将其整合成单一的场景表示，该模型能够学习如何融合所有相机的预测结果，并针对密集表示进行运动规划。

    Aug, 2020

  • 3D-CVF：使用跨视角空间特征融合生成联合相机和激光雷达特征进行 3D 物体检测

    提出了一种新的深度架构，用于将相机和 LiDAR 传感器融合以进行 3D 物体检测，该方法称为 3D-CVF，通过交叉视图空间特征融合策略，使用自动校准投影将相机和 LiDAR 特征组合，该方法在 KITTI 基准测试中实现了最先进的性能。

    Apr, 2020

  • 激光照亮黑暗：通过相机与雷达融合技术提升自动驾驶车辆低能见度感知

    本篇论文提出了一种基于变形金刚网络的 3D 物体检测模型 REDFormer，该模型通过使用鸟瞰相机和雷达融合，解决低能见度条件下自动驾驶系统的感知问题，并且在多雷达点云数据、多种天气和时间数据的 nuScenes 数据集上进行验证，相比其他最先进模型，该模型在低能见度情况下表现出更高的检测精度。

    May, 2023

  • 自动驾驶中多视角传感器数据融合提升感知和预测

    本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法，使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上，我们使用 LiDAR Range-View （RV）功能扩展了此模型，使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中，并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹，这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上，所提出的多视角融合方法的表现都优于最先进的技术，并且增加了较少的计算成本。

    Aug, 2020

  • 将多视角检测和跟踪提升至鸟瞰视角

    利用多视角聚合的优势可以解决多目标跟踪和检测中的遮挡和漏检等挑战。通过将所有视图投影到地面并从鸟瞰视图进行检测分析，最近在多视图检测和 3D 物体识别方面的进展显著提高了性能。本文比较现代的无参数和参数化的升降方法与多视角聚合方法，并提出一种结合多个时间步骤的特征聚合以学习稳健检测并结合外观和运动线索进行跟踪的架构。我们的方法在行人和道路感知两个领域的三个公共数据集上具有广泛适用性，并在检测和跟踪方面实现了最先进的性能。

    Mar, 2024

  • 单目图像和稀疏雷达数据的深度估计

    利用深度神经网络，通过融合单眼图像和雷达数据点，探索实现更准确的深度估计。我们对来自不同角度的 RGB 图像和雷达测量的融合进行了全面的研究，并提出了一种基于观察结果的有效解决方案。在 nuScenes 数据集上的实验表明，我们的方法优于现有的融合方法，同时我们还提供了详细的剖析研究以展示我们的方法中各组成部分的有效性。

    Sep, 2020

  • 自主移动机器人的 LiDAR 和广角相机数据的强健融合

    该论文介绍了使用 LiDAR 和摄像头进行传感器数据融合以实现自主机器人的自由空间检测，并通过高斯过程回归的分辨率匹配算法来更好地利用多模式传感器数据流以提高感知步骤的性能表现。

    Oct, 2017