自主移动机器人的 LiDAR 和广角相机数据的强健融合
本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign,提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型,实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进,表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能,可公开获取代码
Mar, 2022
本研究针对自动驾驶的核心传感器进行研究,发现同时融合相机和 LiDAR 两种模式可以显著提升其性能。然而,由于当前数据集来自于昂贵的数据收集车辆,无法完全反映真实数据分布。 因此,我们提出了一种系统性的鲁棒性基准测试工具包,并在 nuScenes 和 Waymo 中建立了鲁棒性基准测试,针对当前的融合方法进行综合性分析。最后,我们提出了一种高效的鲁棒性训练策略。
May, 2022
本研究针对移动机器人在动态和复杂环境下自主导航和任务执行的困难,提出了一种基于 LiDAR 和单目视觉 SLAM 的紧耦合几何特征融合框架方法,是当前多模态方法中姿态估计更为精确和健壮的。
Jul, 2023
通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中,我们提出了一个简单而有效的多模态检测器,该方法利用一组 2D 检测生成密集的虚拟 3D 点,能够增强原来稀疏的 3D 点云,实验结果在大规模 nuScenes 数据集上取得了显着的改进,并超过了竞争融合方法。
Nov, 2021
本文章提出了一种基于感知信息的多传感器融合策略(PMF),用于自动驾驶等应用中的 3D LiDAR 语义分割,通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性,实验结果证明了该方法的优越性。
Jun, 2021
讨论了激光雷达与传感器融合技术在自动驾驶车辆对象检测和定位方面的显著改进,并通过对最新研究方法的实验分析提出了未来的研究方向。
Feb, 2022
本文提出了一种名为 MMFusion 的多模态 3D 检测框架,以在复杂场景中实现 LiDAR 和图像的准确融合,通过实验证明,该框架不仅优于现有基准,而且尤其适用于在 KITTI 基准上检测骑自行车和行人。
Mar, 2023
本文探讨了在自动驾驶系统中,如何使用不同的传感器进行环境检测,并比较了使用不同传感器的准确性表现,结果表明虽然传感器融合可以获得更准确的检测结果,但仅使用激光雷达可以在减少通道负担的同时实现类似的结果。
Apr, 2021
本研究提出了一种自监督的方法,融合了激光雷达和摄像头数据,训练深度学习模型从融合的数据中恢复遮挡的激光雷达数据,并且通过在稠密球形 LiDAR 投影中融合鱼眼相机裁剪的特征,与使用鸟瞰表示法进行的相关方法相比,减少了视场变换的学习和额外模块的需求。
Jun, 2023
该论文着眼于深度学习在相机 - LiDAR 融合数据处理中的应用,对深度补全、物体检测、语义分割、跟踪和在线跨传感器校准等方面的方法进行了深入评估和比较。该研究提出了当前学术研究与实际应用之间存在的差距和未被重视的挑战,并提出了有前途的研究方向。
Apr, 2020