RC-BEVFusion: 雷达 - 摄像机鸟瞰特征融合插件模块
RCBEVDet 是一种在鸟瞰视角下将雷达和相机融合的三维物体检测方法,通过设计 RadarBEVNet 网络进行雷达鸟瞰特征提取,并结合交叉注意力多层融合模块实现自动对齐和融合多模态特征,取得了领先于现有方法的检测结果。
Mar, 2024
本文提出了雷达 - 相机多层融合(RCM-Fusion)方法,通过特征级和实例级融合方法充分利用雷达信息,实验结果在公开的 NuScenes 数据集上表明我们的方法在 NuScenes 三维物体检测基准上取得了最先进的性能,检测分数(NDS)较仅相机方法提高了 11.8%。
Jul, 2023
通过将原始雷达数据编码为点云并将图像特征转化到鸟瞰空间中,我们引入了一种名为 BEVCar 的新型方法,用于联合 BEV 对象和地图分割,并且在 nuScenes 数据集上的实验表明,BEVCar 在环境条件复杂和远距离物体分割方面的性能优于现有技术。
Mar, 2024
通过利用互补的传感器信息,雷达和相机融合系统具有为高级驾驶员辅助系统和自动驾驶功能提供高度鲁棒可靠的感知系统的潜力。最近相机基于物体检测的进展为鸟瞰特征图的雷达相机融合提供了新的可能性。本文提出了一种新颖而灵活的融合网络,并在两个数据集(nuScenes 和 View-of-Delft)上评估其性能。我们的实验结果表明,虽然相机分支需要大量多样化的训练数据,但雷达分支更受到高性能雷达的影响。使用迁移学习,我们改善了较小数据集上相机的性能。我们的结果进一步证明了雷达相机融合方法明显优于仅相机和仅雷达的基线模型。
Sep, 2023
本研究提出 BEVFusion,这是一种有效和通用的多任务多传感器融合框架,通过在共享的鸟瞰图表示空间中统一多模态特征,从根本上支持不同的 3D 感知任务,并在 nuScenes 上创立了新的技术水平
May, 2022
本文提出了一种名为 CRN 的相机 - 雷达融合框架,通过使用轻量的雷达测量精确远程物体的位置和空间信息,配合多模激活的可变注意力机制生成丰富的语义和准确的俯视特征图,使该系统在自动驾驶领域表现出色。
Apr, 2023
通过利用多传感器融合的方法,我们提出了一种名为 CoBEVFusion 的框架,将 LiDAR 和相机数据融合为鸟瞰图(BEV)表示,以改善协同感知在自动驾驶车辆中的安全性和可靠性。我们的 DWCA LiDAR-camera fusion 模型在 BEV 语义分割和 3D 物体检测任务中表现优于单模态数据和最先进的 BEV 融合模型。同时,CoBEVFusion 整体协同感知架构的性能与其他协同感知模型相当。
Oct, 2023
本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法,使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上,我们使用 LiDAR Range-View (RV)功能扩展了此模型,使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中,并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹,这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上,所提出的多视角融合方法的表现都优于最先进的技术,并且增加了较少的计算成本。
Aug, 2020
本文提出了一种名为 Graph BEV 的稳健融合框架,通过解决 LiDAR 和相机 BEV 特征之间的不准确对齐问题,实现了最先进的性能,mAP 为 70.1%,超过了 BEV Fusion 1.6%,在存在不对齐噪声的条件下超过 BEV Fusion 8.3%。
Mar, 2024
提出了一种空间同步的跨模态方法,通过点散射将 LiDAR BEV 分布散布到相机深度分布,增强相机 BEV 估计和精确定位,同时改善整个 BEV 空间中 LiDAR 的稀疏性,实现了广视野 BEV 感知。
Sep, 2023