一项基于视觉的自动驾驶需要可靠高效的对象检测的研究提出了一种 DiffusionDet 框架，该框架利用单目相机和深度传感器的数据融合来提供 RGB 和深度（RGB-D）数据，并通过在训练阶段随机重塑基准边界框，使模型学习噪声加入的相反扩散过程。通过将 RGB 图像的纹理和颜色特征与 LiDAR 传感器的空间深度信息结合起来，所提出的框架采用了特征融合，从而大大提高了汽车目标的对象检测能力。在 KITTI 数据集上进行的全面实验取得了 2.3 的 AP 增益，特别是在检测小物体方面展示了所提出方法的改进性能。

Jun, 2024

通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

Nov, 2021

我们提出了一种自适应融合方法，使用多种传感器，通过卷积神经网络专家的混合来学习权衡不同传感器的预测，该方法可适应于不同光照和摄像机运动模糊等影响。我们测试了该方法在室内和室外的人体检测，并证明了其可适应困难环境，同时，我们还提出了一个新的混合室内外环境中的 RGB-D 数据集，可供参考。

Jul, 2017

自主驾驶中基于雷达与视觉融合的深度学习方法对于三维目标检测起到重要作用，本文综述了雷达 - 视觉融合的综合研究，特别关注了区域兴趣融合和端到端融合策略，并介绍了最新的四维雷达技术及其在自动驾驶中的应用。

Jun, 2024

自动驾驶车辆要准确检测常见和罕见类别的物体以确保安全导航，因此出现了长尾三维物体检测（LT3D）的问题。本文研究了 RGB-LiDAR 融合的简单的后期融合框架，通过集成独立训练的 RGB 和 LiDAR 检测器，利用大规模单模数据集显著提高了罕见类别的检测性能，在几个关键组件方面进行了探讨，包括训练二维或三维 RGB 检测器、在三维空间中匹配 RGB 和 LiDAR 检测结果或在二维图像平面中匹配、以及如何概率地融合匹配的检测结果。大量实验结果显示，二维 RGB 检测器的识别准确性优于三维 RGB 检测器，基于二维图像平面的匹配可以减轻深度估计误差，使用概率校准的方法将分数融合可以达到最先进的 LT3D 性能。我们的后期融合方法在 nuScenes LT3D 基准测试中取得了 51.4 mAP 的成绩，相比之前的工作提高了 5.9 mAP。

Dec, 2023

本文提出一种混合逐点雷达 - 光学融合方法，结合了来自范围 - 多普勒频谱和光学图像的密集上下文信息，用于自动驾驶场景中的目标检测，表现优于最近的 FFT-RadNet 方法。

Jul, 2023

本文介绍了一种新的粗到细的特征融合策略，利用 RGB 和红外图像的互补特性，通过去除冗余光谱和动态特征选择，提高了目标检测的性能。通过构建名为 RSDet 的新型目标检测器，并在三个 RGB-IR 目标检测数据集上进行广泛实验，验证了我们方法的优越性能。

Jan, 2024

本文提出了一种自适应融合方案，通过两个卷积神经网络中提取的特征和预测的显著性地图，学习一个切换显著性地图的开关来自适应地融合 RGB 和深度模态中所生成的显著性预测。为了实现全监督，利用显著性监督、开关映射监督和边缘保留约束来设计了一个损失函数，并通过端到端训练方式训练整个网络。经过自适应融合策略和边缘保留约束的好处，我们的方法在三个公开数据集上优于已有方法。

Jan, 2019

本文提出了一种名为 RODNet 的深度雷达物体检测网络，通过摄像机和雷达融合算法进行交叉监督，可以在实时的条件下有效地检测无线电频率 (RF) 图像中的物体。经过广泛的实验，我们的算法在各种驾驶条件下呈现了鲁棒性，并取得了 86％的平均精度和 88％的平均召回率。

Feb, 2021

该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

Nov, 2016