May, 2022

BEVFusion: 一个简单而稳健的 LiDAR-Camera 融合框架

PDF
TL;DR该研究提出了一种新颖的相机 - 雷达融合方法 BEVFusion，与现有方法不同，该方法不依赖于雷达数据输入，从而解决了雷达故障对前期融合方法产生的影响。研究结果表明，在正常训练设置下，该方法优于现有最先进方法；在鲁棒性训练设置下，该方法的 MAP 指标相比最先进方法提高了 15.7% 至 28.9%。该方法可以处理实际的雷达故障，可以部署于实际场景而无需任何后处理过程。
cameralidarobject detectionautonomous drivingfusion framework
发现论文，激发创造
  • BEVFusion: 多任务多传感器融合及其基于统一俯视图的表示

    本研究提出 BEVFusion，这是一种有效和通用的多任务多传感器融合框架，通过在共享的鸟瞰图表示空间中统一多模态特征，从根本上支持不同的 3D 感知任务，并在 nuScenes 上创立了新的技术水平

    May, 2022

  • CoBEVFusion：基于合作感知的激光雷达 - 相机鸟瞰融合

    通过利用多传感器融合的方法，我们提出了一种名为 CoBEVFusion 的框架，将 LiDAR 和相机数据融合为鸟瞰图（BEV）表示，以改善协同感知在自动驾驶车辆中的安全性和可靠性。我们的 DWCA LiDAR-camera fusion 模型在 BEV 语义分割和 3D 物体检测任务中表现优于单模态数据和最先进的 BEV 融合模型。同时，CoBEVFusion 整体协同感知架构的性能与其他协同感知模型相当。

    Oct, 2023

  • HVDetFusion：一个简单且稳健的相机 - 雷达融合框架

    在自动驾驶领域中，我们提出了一种名为 HVDetFusion 的新的多模态检测算法，既支持纯相机数据作为检测输入，也能融合雷达数据和相机数据的输入，从而实现了具有全面三维检测输出的目标检测算法。该算法在目前的相机 - 雷达三维物体检测器中在具有挑战性的 nuScenes 测试集上实现了最新的技术水平，达到了 67.4％的 NDS。

    Jul, 2023

  • 自动驾驶中多视角传感器数据融合提升感知和预测

    本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法，使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上，我们使用 LiDAR Range-View （RV）功能扩展了此模型，使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中，并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹，这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上，所提出的多视角融合方法的表现都优于最先进的技术，并且增加了较少的计算成本。

    Aug, 2020

  • GraphBEV：面向多模态三维物体检测的鲁棒 BEV 特征对齐

    本文提出了一种名为 Graph BEV 的稳健融合框架，通过解决 LiDAR 和相机 BEV 特征之间的不准确对齐问题，实现了最先进的性能，mAP 为 70.1％，超过了 BEV Fusion 1.6％，在存在不对齐噪声的条件下超过 BEV Fusion 8.3％。

    Mar, 2024

  • 基于激光雷达 - 相机融合技术的三维目标检测鲁棒性评估

    本研究针对自动驾驶的核心传感器进行研究，发现同时融合相机和 LiDAR 两种模式可以显著提升其性能。然而，由于当前数据集来自于昂贵的数据收集车辆，无法完全反映真实数据分布。 因此，我们提出了一种系统性的鲁棒性基准测试工具包，并在 nuScenes 和 Waymo 中建立了鲁棒性基准测试，针对当前的融合方法进行综合性分析。最后，我们提出了一种高效的鲁棒性训练策略。

    May, 2022

  • RC-BEVFusion: 雷达 - 摄像机鸟瞰特征融合插件模块

    本研究提出了一种模块化的雷达 - 相机融合网络，其基于 BEV 平面，该网络通过新增设计的雷达编码器分支 BEVFeatureNet 与几种最先进的相机架构相结合，显著提高了 nuScenes 检测分数，是雷达 - 相机融合研究的重要进展。

    May, 2023

  • BroadBEV: 广览鸟瞰式地图构建的 LiDAR 与相机融合

    提出了一种空间同步的跨模态方法，通过点散射将 LiDAR BEV 分布散布到相机深度分布，增强相机 BEV 估计和精确定位，同时改善整个 BEV 空间中 LiDAR 的稀疏性，实现了广视野 BEV 感知。

    Sep, 2023

  • BEVCar: 融合相机和雷达的纯电动车地图和物体分割

    通过将原始雷达数据编码为点云并将图像特征转化到鸟瞰空间中，我们引入了一种名为 BEVCar 的新型方法，用于联合 BEV 对象和地图分割，并且在 nuScenes 数据集上的实验表明，BEVCar 在环境条件复杂和远距离物体分割方面的性能优于现有技术。

    Mar, 2024

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023