提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法，可实现更有效的三维目标检测，并在 nuScenes 测试集中达到了 41.1％的 mAP 和 52.3％的 NDS，相比摄像头基线提高了 8.7 和 10.8 个百分点。

Sep, 2022

本文提出了一种名为 CRN 的相机 - 雷达融合框架，通过使用轻量的雷达测量精确远程物体的位置和空间信息，配合多模激活的可变注意力机制生成丰富的语义和准确的俯视特征图，使该系统在自动驾驶领域表现出色。

Apr, 2023

传感器融合在自主车辆的准确和健壮的感知系统中至关重要。大多数现有的数据集和感知解决方案都专注于相机和激光雷达的融合，然而相机和雷达之间的协作被显著地低估。本论文介绍了 CRUW3D 数据集，包括 66K 个在不同行驶情景中同步并进行了校准的相机、雷达和激光雷达帧。与其他大规模自动驾驶数据集不同，我们的雷达数据以射频（RF）张量的格式呈现，包含了 3D 位置信息和时空语义信息。这种雷达格式可以使机器学习模型在相机和雷达之间交互和融合信息或特征后生成更可靠的物体感知结果。

Nov, 2023

本文介绍了一种利用 CramNet 网络实现相机和雷达传感器融合的方法，其中利用限制射线的交叉注意机制解决了相机特征和雷达特征之间几何对应关系的歧义，支持传感器模态退出训练，从而实现了鲁棒的三维物体检测。

Oct, 2022

在自动驾驶领域中，我们提出了一种名为 HVDetFusion 的新的多模态检测算法，既支持纯相机数据作为检测输入，也能融合雷达数据和相机数据的输入，从而实现了具有全面三维检测输出的目标检测算法。该算法在目前的相机 - 雷达三维物体检测器中在具有挑战性的 nuScenes 测试集上实现了最新的技术水平，达到了 67.4％的 NDS。

Jul, 2023

在自动驾驶的三维物体检测领域，LiDAR - 相机融合是性能最佳的传感器配置，但是由于成本较高，阻碍了该技术在消费级汽车中的采用。本研究提出了一种相机 - 雷达知识蒸馏（CRKD）框架，旨在弥合相机 - 雷达融合和 LiDAR - 相机融合之间的性能差距，并通过引入鸟瞰图表示作为共享特征空间，实现有效的知识蒸馏。通过四个蒸馏损失函数帮助学生模型从教师模型中学习关键特征，并在 nuScenes 数据集上进行了广泛的评估，展示了 CRKD 框架的有效性。

Mar, 2024

该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

Jun, 2021

移动自主性依赖于对动态环境的精确感知。因此，鲁棒地跟踪三维世界中的移动物体对于轨迹预测、避障和路径规划等应用至关重要。尽管大多数当前方法利用激光雷达或摄像头进行多目标跟踪 (MOT)，但四维成像雷达的能力仍然很少被探索。针对四维雷达数据中的雷达噪声和点稀疏性带来的挑战，我们介绍了一种针对基于雷达的跟踪的创新解决方案 RaTrack。我们的方法摒弃了对特定物体类型和三维边界框的依赖，而是专注于运动分割和聚类，并且通过运动估计模块进一步丰富。在 View-of-Delft 数据集上进行评估，RaTrack 展示了对移动物体的优越跟踪精度，明显超过了最新研究的性能。

Sep, 2023

本研究提出了一种使用单目摄像头和 LiDAR 数据结合的机器学习技术，通过以国际排名领先的二维物体探测器生成的锥体区域来分割 LiDAR 点云，从而检测运动平台周围的车辆的 3D 边界框参数， 最终验证集准确率达到 87.1％。

May, 2021

使用基于学习的目标检测器和经典的跟踪算法相结合的方法，对成像雷达数据上的多目标跟踪方法进行了比较和分析，研究其在后续任务中的潜力，并考虑了概率关联算法的改进。

Jun, 2024