本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

Mar, 2022

利用微波雷达和摄像机的互补性，基于深度学习的雷达摄像机三维物体检测方法可以可靠地在低能见度条件下生成准确的检测结果。这使得它们成为自动驾驶车辆感知系统中的首选，特别是由于两种传感器的综合成本比激光雷达更便宜。我们提出了 ClusterFusion，一种利用雷达点云的局部空间特征的架构，在将特征投影到图像平面之前，对雷达点云聚类进行特征提取。ClusterFusion 在 nuScenes 数据集的测试集中取得了最先进的性能，nuScenes 检测分数（NDS）为 48.7％。我们还研究了不同雷达特征提取策略在点云聚类上的性能：一种手工策略，一种基于学习的策略以及两者的组合，并发现手工策略提供了最佳的性能。本研究的主要目标是探索使用雷达点云聚类直接提取雷达的局部空间和逐点特征，用于在图像平面上进行交叉模态特征融合的雷达 - 单目摄像机三维物体检测方法。

Sep, 2023

提出 LiRaFusion 以解决基于 LiDAR 和雷达的三维目标检测的问题，并通过早期融合模块和中期融合模块来改善特征提取能力，最终在 nuScenes 上取得了显著改进。

Feb, 2024

提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法，可实现更有效的三维目标检测，并在 nuScenes 测试集中达到了 41.1％的 mAP 和 52.3％的 NDS，相比摄像头基线提高了 8.7 和 10.8 个百分点。

Sep, 2022

该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

Jun, 2021

本文提出了一种新颖的三维物体检测器，利用雷达和摄像头实现非常精确的定位，设计了一种端到端可学习的架构，利用连续卷积在不同分辨率级别上融合图像和雷达特征图，其实现了对离散状态图像特征和连续几何信息的编码，从而能够基于多种传感器设计新颖，可靠且高效的端到端可学习的三维目标检测器，实验结果显示，在 KITTI 和大规模三维目标检测基准测试中，相对于现有技术有显著的提高。

Dec, 2020

本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）

Apr, 2023

提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

Nov, 2023

该研究提出了一种基于稀疏表示的多传感器 3D 检测方法 SparseFusion，利用 LiDAR 和相机模态的并行检测器输出作为稀疏候选，通过轻量级自注意力模块在一致的 3D 空间中融合多模态候选，实现了目前最先进的性能，并且运行速度最快。

Apr, 2023

本文提出了雷达 - 相机多层融合（RCM-Fusion）方法，通过特征级和实例级融合方法充分利用雷达信息，实验结果在公开的 NuScenes 数据集上表明我们的方法在 NuScenes 三维物体检测基准上取得了最先进的性能，检测分数（NDS）较仅相机方法提高了 11.8%。

Jul, 2023