BEVFusion: 多任务多传感器融合及其基于统一俯视图的表示
通过利用多传感器融合的方法,我们提出了一种名为 CoBEVFusion 的框架,将 LiDAR 和相机数据融合为鸟瞰图(BEV)表示,以改善协同感知在自动驾驶车辆中的安全性和可靠性。我们的 DWCA LiDAR-camera fusion 模型在 BEV 语义分割和 3D 物体检测任务中表现优于单模态数据和最先进的 BEV 融合模型。同时,CoBEVFusion 整体协同感知架构的性能与其他协同感知模型相当。
Oct, 2023
本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法,使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上,我们使用 LiDAR Range-View (RV)功能扩展了此模型,使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中,并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹,这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上,所提出的多视角融合方法的表现都优于最先进的技术,并且增加了较少的计算成本。
Aug, 2020
提出了一种空间同步的跨模态方法,通过点散射将 LiDAR BEV 分布散布到相机深度分布,增强相机 BEV 估计和精确定位,同时改善整个 BEV 空间中 LiDAR 的稀疏性,实现了广视野 BEV 感知。
Sep, 2023
本文提出一种新的空时融合 BEV 表征方法,可支持长距离融合,具有时变自适应权重,有效避免传统方法中的信息丢失和充分利用功能,同时实现地图分割任务的最优性能。
Jul, 2022
该研究提出了一种新颖的相机 - 雷达融合方法 BEVFusion,与现有方法不同,该方法不依赖于雷达数据输入,从而解决了雷达故障对前期融合方法产生的影响。研究结果表明,在正常训练设置下,该方法优于现有最先进方法;在鲁棒性训练设置下,该方法的 MAP 指标相比最先进方法提高了 15.7% 至 28.9%。该方法可以处理实际的雷达故障,可以部署于实际场景而无需任何后处理过程。
May, 2022
本研究提出了一种利用分割信息指导检测过程的多任务框架,该框架联合执行三维物体检测和全景分割,可利用多视角信息解决每个投影视图的缺陷,并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明,该方法提供了显著的性能提升,基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。
Mar, 2022
本研究提出了一种模块化的雷达 - 相机融合网络,其基于 BEV 平面,该网络通过新增设计的雷达编码器分支 BEVFeatureNet 与几种最先进的相机架构相结合,显著提高了 nuScenes 检测分数,是雷达 - 相机融合研究的重要进展。
May, 2023
该研究提出了基于多相机系统的统一三维感知和预测框架 BEVerse,通过对多相机视频生成空间 - 时间鸟瞰(BEV)表示,并同时推理多个自动驾驶视觉任务,通过在 nuScenes 数据集上的实验表明,与现有的单任务方法相比,多任务 BEVerse 在 3D 物体检测,语义地图构建和运动预测方面表现更好,同时比时序范例更加高效。
May, 2022
本文提出了一个称为 M2BEV 的统一框架,它可以通过多摄像头图像输入在 Birds Eye View(BEV)空间中联合执行三维物体检测和地图分割,是一个高效的方法。实验结果表明,M2BEV 在 3D 对象检测和 BEV 分割方面的性能优于现有技术。
Apr, 2022
通过训练基于多视角鸟瞰图(BEV)的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征,从而提高多视角 BEV 的表示学习,并通过有效的平衡策略和多尺度层的时间融合实现知识传输,实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型,达到了流行基准 nuScenes 的最新性能。
Sep, 2023