本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

Mar, 2022

该研究提出了一种名为 SkipcrossNets 的新型融合架构，可以自适应地结合激光雷达点云和相机图像，增强了特征传递和多模态特征融合，通过应用于 KITTI 和 A2D2 数据集向证明了 skip-cross 融合的优势，实现了在 KITTI 上的 96.85% 的最大 F 分数和在 A2D2 上的 84.84% 的 F1 分数。模型参数只需要 2.33 MB 的内存，在 68.24 FPS 的速度下运行，适用于移动终端和嵌入式设备。

Aug, 2023

本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）

Apr, 2023

DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

Sep, 2022

本研究提出了一种创新的深度学习自动道路检测方法，通过融合低分辨率卫星图像和 GPS 轨迹数据的策略，对早期和后期融合进行深入研究，并使用不同的融合设置评估基于深度学习的道路检测性能。研究结果显示，ResUnet 模型在道路提取任务中优于 U-Net 和 D-Linknet，以及使用低分辨率 Sentinel-2 数据的基准研究，从而为自动道路检测领域作出贡献，并为各种应用中的数据融合方法提供了新的见解。

Dec, 2023

本文提出了一种用于无人机 LiDAR 点云分类的方向约束全卷积神经网络模型（D-FCN），该模型利用方向约束点卷积模块和多尺度卷积神经网络实现了点云的语义标记，取得了 70.7% 的平均 F1 得分和大幅提高了点数较少目标（如电线、汽车和立面）的分类性能。

Aug, 2019

本研究使用全卷积神经网络，在 LIDAR 点云、GPS-IMU 信息和 Google 驾驶方向的帮助下生成驾驶路径，并通过测试获得了良好的性能，标志着该系统有望填补底层场景解析和行为反射方法之间的差距。

Mar, 2017

本论文描述了一种使用 FCN 进行半监督学习的方法，通过预训练分类层和 MPLCMASK 云层算法的云位置以及手动标记的云位置，用于分割激光雷达图像中的云的几何高度和时间位置，并展示与云层算法实现相比较高的云识别水平。

May, 2018

该论文着眼于深度学习在相机 - LiDAR 融合数据处理中的应用，对深度补全、物体检测、语义分割、跟踪和在线跨传感器校准等方面的方法进行了深入评估和比较。该研究提出了当前学术研究与实际应用之间存在的差距和未被重视的挑战，并提出了有前途的研究方向。

Apr, 2020

本文提出了一种新颖的三维物体检测器，利用雷达和摄像头实现非常精确的定位，设计了一种端到端可学习的架构，利用连续卷积在不同分辨率级别上融合图像和雷达特征图，其实现了对离散状态图像特征和连续几何信息的编码，从而能够基于多种传感器设计新颖，可靠且高效的端到端可学习的三维目标检测器，实验结果显示，在 KITTI 和大规模三维目标检测基准测试中，相对于现有技术有显著的提高。

Dec, 2020