LiRaFusion:深度自适应激光雷达 - 雷达融合用于三维目标检测
介绍了一种双向 LiDAR-Radar 融合框架,Bi-LRFusion,通过学习 LiDAR 分支的重要细节增强 Radar 的本地特征,从而解决 Radar 数据的稀疏性和缺乏高度信息的问题,并在 nuScenes 和 ORR 数据集上进行了广泛实验,显示出优于现有技术的表现,最终通过统一的俯视图表示将 LiDAR 特征与增强的 Radar 特征相结合用于动态目标的 3D 检测。
Jun, 2023
DeepFusion 提出了一种模块化的多模态架构,用于融合 lidar,相机和雷达以进行 3D 物体检测,实验结果证明了其灵活性和有效性,并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。
Sep, 2022
该研究论文通过数据融合不同传感器的数据,开发了低水平的传感器融合网络来进行 3D 物体检测,并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明,与基准 lidar 网络相比,融合雷达数据可以提高约 5.1% 的检测分数,特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献,这表明传感器间的相互依赖对检测结果很重要。
Jun, 2021
该论文提出一种基于鸟瞰视角融合学习的无锚定框物体检测系统,融合雷达和光学雷达的特征来估计可能的目标,并采用新颖交互式变形模块来进一步提高性能。在最近发布的牛津雷达机器人车数据集上进行测试,该系统在 0.8 IoU 下的性能显着优于最佳现有技术方法,可在清晰和雾天下分别提高 14.4%和 20.5%的平均精度。
Nov, 2022
提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法,可实现更有效的三维目标检测,并在 nuScenes 测试集中达到了 41.1%的 mAP 和 52.3%的 NDS,相比摄像头基线提高了 8.7 和 10.8 个百分点。
Sep, 2022
本文提出的 LiRaNet 是一种新颖的端到端轨迹预测方法,利用了雷达传感器信息和广泛使用的激光雷达和高清晰度地图,通过高效的时空雷达特征提取方案,实现了多个大规模数据集上最先进的性能表现,并获得了高加速度物体预测误差的 52%降低和远距离物体预测误差的 16%降低。
Oct, 2020
本文提出了一种将图像数据与 LiDAR 数据融合的方法,并展示了这种传感器融合方法在长距离检测表现方面提高了模型检测能力。此外,文中还扩展了模型的功能,使其能够进行 3D 语义分割,并在大型基准数据集上展示了我们的方法在保持低运行时间的同时,在目标检测和语义分割方面实现了最先进的性能。
Apr, 2019
本文提出了一种名为 SupFusion 的新型训练策略,为 LiDAR-Camera 融合提供辅助的特征级监督并显著提升检测性能。该策略包括了一种称为 Polar Sampling 的数据增强方法,通过稠密化稀疏物体和训练辅助模型生成高质量特征来进行监督。这些特征被用于训练 LiDAR-Camera 融合模型,其中融合特征被优化以模拟生成的高质量特征。此外,本文还提出了一种简单而有效的深度融合模块,与之前的融合方法相比,连续获得更优越的性能。通过这种方式,我们的提议具有以下优势:首先,SupFusion 引入了辅助的特征级监督,可以提升 LiDAR-Camera 检测性能而不增加额外的推断成本。其次,所提出的深度融合模块可以持续提升检测器的能力。我们的提议 SupFusion 和深度融合模块是即插即用的,我们进行了大量实验证明了其有效性。特别是基于多个 LiDAR-Camera 3D 检测器,在 KITTI 基准测试中获得了约 2% 的 3D mAP 改进。
Sep, 2023
利用微波雷达和摄像机的互补性,基于深度学习的雷达摄像机三维物体检测方法可以可靠地在低能见度条件下生成准确的检测结果。这使得它们成为自动驾驶车辆感知系统中的首选,特别是由于两种传感器的综合成本比激光雷达更便宜。我们提出了 ClusterFusion,一种利用雷达点云的局部空间特征的架构,在将特征投影到图像平面之前,对雷达点云聚类进行特征提取。ClusterFusion 在 nuScenes 数据集的测试集中取得了最先进的性能,nuScenes 检测分数(NDS)为 48.7%。我们还研究了不同雷达特征提取策略在点云聚类上的性能:一种手工策略,一种基于学习的策略以及两者的组合,并发现手工策略提供了最佳的性能。本研究的主要目标是探索使用雷达点云聚类直接提取雷达的局部空间和逐点特征,用于在图像平面上进行交叉模态特征融合的雷达 - 单目摄像机三维物体检测方法。
Sep, 2023