本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

Mar, 2022

DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

Sep, 2022

本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）

Apr, 2023

介绍了一种双向 LiDAR-Radar 融合框架，Bi-LRFusion，通过学习 LiDAR 分支的重要细节增强 Radar 的本地特征，从而解决 Radar 数据的稀疏性和缺乏高度信息的问题，并在 nuScenes 和 ORR 数据集上进行了广泛实验，显示出优于现有技术的表现，最终通过统一的俯视图表示将 LiDAR 特征与增强的 Radar 特征相结合用于动态目标的 3D 检测。

Jun, 2023

提出了一种新的深度架构，用于将相机和 LiDAR 传感器融合以进行 3D 物体检测，该方法称为 3D-CVF，通过交叉视图空间特征融合策略，使用自动校准投影将相机和 LiDAR 特征组合，该方法在 KITTI 基准测试中实现了最先进的性能。

Apr, 2020

该研究提出了一种基于稀疏表示的多传感器 3D 检测方法 SparseFusion，利用 LiDAR 和相机模态的并行检测器输出作为稀疏候选，通过轻量级自注意力模块在一致的 3D 空间中融合多模态候选，实现了目前最先进的性能，并且运行速度最快。

Apr, 2023

本文提出了一种新颖的三维物体检测器，利用雷达和摄像头实现非常精确的定位，设计了一种端到端可学习的架构，利用连续卷积在不同分辨率级别上融合图像和雷达特征图，其实现了对离散状态图像特征和连续几何信息的编码，从而能够基于多种传感器设计新颖，可靠且高效的端到端可学习的三维目标检测器，实验结果显示，在 KITTI 和大规模三维目标检测基准测试中，相对于现有技术有显著的提高。

Dec, 2020

我们提出了一种具有交叉模态知识蒸馏的双向融合网络（CMDFusion），通过 2D 到 3D 融合和 3D 到 2D 融合显式和隐式增强了 3D 特征，并通过从 2D 网络到 3D 网络的蒸馏传递 2D 知识，使得 3D 网络能够根据 3D LIDAR 输入生成 2D 信息，无需在推理过程中使用 RGB 图像。我们的 CMDFusion 在 SemanticKITTI 和 nuScenes 数据集上表现出了最佳性能。

Jul, 2023

VoxelNextFusion 是一种多模态的三维物体检测框架，通过有效地融合稀疏点云和密集图像之间的信息，解决了现有基于体素方法在稀疏和密集特征融合上的问题，从而在 KITTI 和 nuScenes 数据集上实现了 3D 物体检测的显著改进。

Jan, 2024

利用多传感器数据的三维物体检测器在共享的鸟瞰图表示空间中统一多模态特征，然而，我们的实证研究发现之前的方法在生成不受交叉模态冲突影响的融合鸟瞰图特征方面存在局限性。因此，我们提出了一种新的消除冲突融合方法（ECFusion），以显式消除鸟瞰图空间中的外在 / 内在冲突并生成改进的多模态鸟瞰图特征。总之，我们的方法最大限度地利用了每种模态的有效信息，利用了模态间的互补性，并在高竞争的 nuScenes 三维物体检测数据集中取得了最先进的性能。

Mar, 2024