基于无人机毫米波雷达的多目标三维重建
传感器融合在自主车辆的准确和健壮的感知系统中至关重要。大多数现有的数据集和感知解决方案都专注于相机和激光雷达的融合,然而相机和雷达之间的协作被显著地低估。本论文介绍了 CRUW3D 数据集,包括 66K 个在不同行驶情景中同步并进行了校准的相机、雷达和激光雷达帧。与其他大规模自动驾驶数据集不同,我们的雷达数据以射频(RF)张量的格式呈现,包含了 3D 位置信息和时空语义信息。这种雷达格式可以使机器学习模型在相机和雷达之间交互和融合信息或特征后生成更可靠的物体感知结果。
Nov, 2023
本论文提出了一种新的点云超分辨率方法,名为雷达扩散。该方法使用受均值回归的随机微分方程定义的扩散模型,并通过与对应的 LiDAR 点云的监督来处理雷达幽灵点,将稀疏的毫米波雷达点云增强为稠密的类似 LiDAR 的点云。通过在两个不同的数据集上评估,实验结果表明我们的方法在 3D 雷达超分辨率任务中优于现有的基准方法。此外,我们证明了我们增强的雷达点云能够进行下游的基于点云的雷达配准任务。
Apr, 2024
该研究论文提出了一种名为 Radar to Point Cloud (R2P) 的深度学习模型,用于将低可视性环境下基于 mmWave 雷达的粗糙和稀疏点云转换为物体的 3D 点云表示,以实现目标检测和在自主导航系统中的应用,实验结果表明其优于现有的流行方法。
Jul, 2022
本文提出了一种低复杂度高精度的端到端方法,使用来自低成本 mm 波雷达的稀疏点云序列,结合扩展物体跟踪 Kalman 滤波器和针对雷达点云的有效特征提取和快速推理的深度学习分类器,实时跟踪和识别多个主体,并在一组八个对象中准确识别三个对象,操作速度高达 15 帧 / 秒。
May, 2021
4D 毫米波雷达是一种非常有前景的车辆感知技术,本文引入了空间多表征融合(SMURF)方法,通过使用单一的 4D 成像雷达,利用多种雷达检测点的表征,包括基于柱化和密度特征的多维高斯混合分布和核密度估计,来实现 3D 目标检测,具有较好的性能和实时性能。
Jul, 2023
以 4D 毫米波雷达为基础,作者构建了第一个桥接自然语言和雷达场景的数据集 Talk2Radar,提出了一种新颖模型 T-RadarNet,实现了 3D 点云的自然语言驱动上下文理解,并在 Talk2Radar 数据集上取得了领先同类模型的最先进性能。
May, 2024
通过使用 CenterRadarNet 来从 4D 雷达数据中进行高分辨率表示学习,对于 3D 物体检测和重新识别任务进行了有效的联合建模,取得了在 K-Radar 3D 物体检测基准测试上的最新成果,并在 K-Radar 数据集 V2 上展示了首次使用雷达进行的 3D 物体追踪结果。
Nov, 2023
利用微波雷达和摄像机的互补性,基于深度学习的雷达摄像机三维物体检测方法可以可靠地在低能见度条件下生成准确的检测结果。这使得它们成为自动驾驶车辆感知系统中的首选,特别是由于两种传感器的综合成本比激光雷达更便宜。我们提出了 ClusterFusion,一种利用雷达点云的局部空间特征的架构,在将特征投影到图像平面之前,对雷达点云聚类进行特征提取。ClusterFusion 在 nuScenes 数据集的测试集中取得了最先进的性能,nuScenes 检测分数(NDS)为 48.7%。我们还研究了不同雷达特征提取策略在点云聚类上的性能:一种手工策略,一种基于学习的策略以及两者的组合,并发现手工策略提供了最佳的性能。本研究的主要目标是探索使用雷达点云聚类直接提取雷达的局部空间和逐点特征,用于在图像平面上进行交叉模态特征融合的雷达 - 单目摄像机三维物体检测方法。
Sep, 2023