CoBEVFusion:基于合作感知的激光雷达 - 相机鸟瞰融合
本研究提出 BEVFusion,这是一种有效和通用的多任务多传感器融合框架,通过在共享的鸟瞰图表示空间中统一多模态特征,从根本上支持不同的 3D 感知任务,并在 nuScenes 上创立了新的技术水平
May, 2022
提出了一种空间同步的跨模态方法,通过点散射将 LiDAR BEV 分布散布到相机深度分布,增强相机 BEV 估计和精确定位,同时改善整个 BEV 空间中 LiDAR 的稀疏性,实现了广视野 BEV 感知。
Sep, 2023
本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法,使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上,我们使用 LiDAR Range-View (RV)功能扩展了此模型,使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中,并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹,这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上,所提出的多视角融合方法的表现都优于最先进的技术,并且增加了较少的计算成本。
Aug, 2020
本文提出了 CoBEVT,这是一个通用的多代理多摄像头感知框架,能够协同生成 BEV 地图预测。在 V2V 感知数据集 OPV2V 上的广泛实验表明,CoBEVT 实现了合作 BEV 语义分割的最先进性能。此外,CoBEVT 还可应用于其他任务,包括单代理多摄像头的 BEV 分割和多代理 LiDAR 系统的 3D 对象检测,实现了实时推理速度和最先进的性能。
Jul, 2022
本研究提出了一种模块化的雷达 - 相机融合网络,其基于 BEV 平面,该网络通过新增设计的雷达编码器分支 BEVFeatureNet 与几种最先进的相机架构相结合,显著提高了 nuScenes 检测分数,是雷达 - 相机融合研究的重要进展。
May, 2023
本文提出了一种名为 Graph BEV 的稳健融合框架,通过解决 LiDAR 和相机 BEV 特征之间的不准确对齐问题,实现了最先进的性能,mAP 为 70.1%,超过了 BEV Fusion 1.6%,在存在不对齐噪声的条件下超过 BEV Fusion 8.3%。
Mar, 2024
该研究提出了一种新颖的相机 - 雷达融合方法 BEVFusion,与现有方法不同,该方法不依赖于雷达数据输入,从而解决了雷达故障对前期融合方法产生的影响。研究结果表明,在正常训练设置下,该方法优于现有最先进方法;在鲁棒性训练设置下,该方法的 MAP 指标相比最先进方法提高了 15.7% 至 28.9%。该方法可以处理实际的雷达故障,可以部署于实际场景而无需任何后处理过程。
May, 2022
通过训练基于多视角鸟瞰图(BEV)的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征,从而提高多视角 BEV 的表示学习,并通过有效的平衡策略和多尺度层的时间融合实现知识传输,实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型,达到了流行基准 nuScenes 的最新性能。
Sep, 2023
本文提出了一种用于自动驾驶的联邦变压器学习方法 FedBEVT,其使用多视角相机数据来学习模型,并解决了数据异构问题,如多传感器姿态和感知系统中不同的传感器数量。在实际场景中的性能优于基线方案,展示了该方法在提高鸟瞰图感知中的潜力。
Apr, 2023
提出了一种新的深度架构,用于将相机和 LiDAR 传感器融合以进行 3D 物体检测,该方法称为 3D-CVF,通过交叉视图空间特征融合策略,使用自动校准投影将相机和 LiDAR 特征组合,该方法在 KITTI 基准测试中实现了最先进的性能。
Apr, 2020