TransCAR: 基于 Transformer 的摄像头和雷达融合技术用于 3D 物体检测
提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法,可实现更有效的三维目标检测,并在 nuScenes 测试集中达到了 41.1%的 mAP 和 52.3%的 NDS,相比摄像头基线提高了 8.7 和 10.8 个百分点。
Sep, 2022
TransFusion 是一种稳健的解决方案,用于处理自动驾驶中 LiDAR 和摄像头数据融合时面对的图像质量下降和误差校准问题。该方法结合了使用浅层目标查询从 LiDAR 点云预测初始边界框和自适应融合对象查询与有用的图像特征,使用注意机制确定应该从图像中获取哪些信息的特点,在大规模数据集上表现良好。
Mar, 2022
我们提出了一种新的方法,通过一种新的架构和损失函数对雷达场景进行语义分割,从而克服了雷达数据的固有噪声、稀疏性以及前景和背景的不平衡。我们的方法 TransRadar 在 CARRADA 和 RADIal 数据集上优于现有方法,并且模型尺寸更小。
Oct, 2023
本篇论文提出了一种基于变形金刚网络的 3D 物体检测模型 REDFormer,该模型通过使用鸟瞰相机和雷达融合,解决低能见度条件下自动驾驶系统的感知问题,并且在多雷达点云数据、多种天气和时间数据的 nuScenes 数据集上进行验证,相比其他最先进模型,该模型在低能见度情况下表现出更高的检测精度。
May, 2023
本文介绍了一种利用 CramNet 网络实现相机和雷达传感器融合的方法,其中利用限制射线的交叉注意机制解决了相机特征和雷达特征之间几何对应关系的歧义,支持传感器模态退出训练,从而实现了鲁棒的三维物体检测。
Oct, 2022
该研究论文通过数据融合不同传感器的数据,开发了低水平的传感器融合网络来进行 3D 物体检测,并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明,与基准 lidar 网络相比,融合雷达数据可以提高约 5.1% 的检测分数,特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献,这表明传感器间的相互依赖对检测结果很重要。
Jun, 2021
该研究介绍了 TransFuser - 一种使用自我注意力机制将图像和雷达的信息进行融合,以提高自动驾驶中辨识物体和行驶路径的性能,实验证明该方法的表现在 CARLA 排行榜上优于以往所有的算法。
May, 2022
DeepFusion 提出了一种模块化的多模态架构,用于融合 lidar,相机和雷达以进行 3D 物体检测,实验结果证明了其灵活性和有效性,并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。
Sep, 2022
提出两种新的雷达预处理技术,并引入了多任务跨模态注意融合网络(MCAF-Net)来进行目标检测,相对于现有的基于雷达和相机融合的目标检测算法具有更强的鲁棒性,特别是在恶劣的天气条件和夜间场景下。
Jul, 2023
自动驾驶中,识别和追踪周围物体是必不可少的。本论文提出了一种相机 - 雷达融合模型用于三维物体检测和多目标追踪,通过合并雷达传感器的空间和速度信息,实现了检测和追踪能力的大幅提升。
Mar, 2024